· 톺아보기

엔비디아의 DGX 넘나 써보고싶네요..

Juzis ·

조회 2,782 · 공감 1 · 댓글 11

장비를 사서 써봐야.. 뭐라도 연습을 해보겠는데


요거 AI머신으로 이것저것 테스트해서 입맛에 맞게 파이프라인 구축해 쓰는 장치같군여..


전에 이걸 두어대 구입해서 공부하시는분들 계시던데, 그때보다 가격도 쎄진것 같군염....


출처 : https://youtu.be/0S3EtkkVC8s?si=RByilQor72ApH2zK

댓글 11

  1. vajra_ ·
    당근에 이런 것들이 가끔 올라오는데 깜놀합니다.
  2. STREETDJ · · 공감 2
    실제로 써보면 70B같은 모델 로딩할게 아니라면 5070 정도 그래픽카드 달아서 쓰는게 더 빠르답니다.
  3. 애플망고 ·
    @STREETDJ님 DGX스파크 게임 성능이 5070 정도 나온다죠. 거기에 메모리 16 -> 128 올려준 댓가가 500만원인셈라 가성비가...
  4. 늑대와곰돌이 ·
    @STREETDJ님 대신 메모리 때문에 모델에 요청을 100개씩 배치로 하면 5070보다 전체 토큰 처리량은 훨씬 좋더라구요 테스트해보다 깜짝 놀랐어요
  5. 어머 ·
    연구실에 있는데 그냥 장난감처럼 해보기는 괜찮고 속도가 좀 느려서 5090쓰는게 나을수도 있어요
  6. 은근은근 ·
    회사에 1대 있는데 1대로는 아쉽습니다. 위에분 말씀대로 차라리 5090사는게 낫고 아니면 최소 2대에서 더 질러서 3대는 사야 서로 연결해서 최신모델도 돌려보며 제대로 다 성능뽑아써먹을수있는데 지금 가격이 너무 올라서 또 사달라고하기가 난감해서 방치중이네요 ㅎㅎㅎ ㅜ ㅜ
  7. 애플망고 ·
    @은근은근님 Laguna-S-2.1 NVFP4 가 코딩면에서는 괜찮다는 평이 있어서 1대면 이거 돌려보면 좋을 것 같더라구요.
  8. 김_군 ·
    게임용 apu 만들던거 써서 만든거라 그 돈 주고 태울거면, 웍스 구하는게 낫다가 중론이었던 걸로 기억합니다. 물론 멜라녹스 x7 까지 올인원이라 개인이 관심생겨서 잠깐 찍먹 깔짝하긴 좋아 보이긴 합니다.
  9. 애플망고 ·
    출시 당시에 무리해서 1대 샀다가 3개월 정도 되니까 욕심이 커져서 결국 더 무리해서 1대 더 사게되더군요.
    오픈 모델들 발전이 거의 다달이 발전되고 있다보니 신모델 나오면 올려보고 벤치마크 돌려보는게 재밌어서 게임 할 시간에 이걸 하고 있습니다.
    파라미터 100B 넘어가는 모델들부터는 어지간한 작업은 가능하다보니 공짜로 무제한 노동 가능한 사람 부리는 재미가 있달까요...
  10. Kanilea ·
    집에서 한대 서버로 돌리는데
    한대있으면 두대가 땡기고 두대 있으면 네대가 땡기는 오묘한 기계입니다.
    지금은 가격이 너무 올랐으니 업무상 목적이 없다 한다면 그냥 그런갑다 하시고 api 쓰시는게 훨씬 더 쌉니다.
  11. 오르테가 ·
    차라리 5090이 낫나요?
    AMD AI PRO R9700사는게 낫나요?

모두의공원 최근 글

모두의공원 목록 더 보기