GPU 배치를 변경했습니다.

안녕하세요?

어제 입당인사드린 goodbuddy입니다.

2슬롯 두께의 GPU 4장을 차곡차곡 2슬롯 간격으로 꼽았더니 전력사용량을 300w에서 210w로 제한(실제 성능은 10%이내 차이)을 걸어도 10분동안 동시 6개의 AI 추론을 걸어서 빡세게 테스트 했더니 VRAM이 98도 까지 올라가더군요.

설정을 훑어보니 쓰로틀링은 108도에 설정되 있는거 같긴 한데 GPU 수명에 좋지 않을 듯 해서 구조를 좀 바뀌봤습니다.
구조 변경하고 또 빡세게 20분 테스트를 걸어보니 92도 선에서 열평형이 일어나네요.
요즘 날씨가 선선해서 이정도지 여름이 되면...ㅠㅠ

후면 VRAM의 발열이 방열될 공간이 없어 1슬롯씩 간격을 벌리고 1장의 GPU는 라이저 케이블로 수직장착 시켰습니다.
케이스를 조금 잘라내고 억지로 장착을 하긴 했는데 좀 보기 흉합니다.^^;

Phanteks Enthoo Pro v2 케이스를 샀다면 그냥 수직장착이 가능했는데 너무 커서 커세어 Frame 5000D Workstaion 케이스를 샀더니 세로장착 가이드가 없어 조금 아쉽네요.워크스테이션 구성할 때 이 케이스를 왜그리 많이들 구입하시는지 이제 알거 같습니다. 더군다나 PSU 2개까지 장착도 지원을 하네요. 다음에는 이놈이다!!

신기한건 2018년도에 산 Thermaltake PCIe Gen3 x16 라이저 케이블을 테스트삼아 장착했는데.... 와... Gen5 x16으로 전송이 됩니다. 20분간 빡세게 테스트를 해도 단 한번의 재협상과 재전송 없이 통과를 했습니다. ^^
그런데 이미 주문한 Gen5 라이저 케이블이 도착했네요 오늘 ㅎㅎ

Threadripper Pro를 사용중인데 자금 문제로 4개의 램슬롯만 채우고 4채널로 사용하고 있습니다.
나머지 슬롯을 채울까하고 자료를 찾아보니 CPU에 다이가 2개 뿐인 제 9955wx는 8채널 메모리 대역폭을 다 사용하지 못합니다. 다이가 4개 이상인 CPU를 가야 4채널, 8채널간 대역폭에 차이가 발생하고 9985wx, 9995wx가 되어야 8채널 대역폭을 풀로 사용할 수 있더군요.

로컬 LLM 세팅 때문에 몇 번의 시행착오도 했고, AI를 구동하기위한 하드웨어, LLM 아키텍처 등등 공부도 많이 하게 됩니다.

아직도 배울게 산더미네요.

요즘 관심이 있어 클로드랑 같이 구상중인게 있습니다.
2개의 AI를 구동해서 하나는 코딩을 하고, 하나는 과정을 지켜보면서 서로 의견을 나누며 코칭하는 시스템을 구성해보고 있습니다.
그리고 최종적으로 좀 큰 모델을 올려서 감리까지 수행할 수 있도록 구상중인데 잘 될지는 모르겠네요.

여튼 또 새로운 소식이 있으면 찾아뵙겠습니다.