Llama3.1 70B를 실행시키려면 1,000만원 있음 되는군요
조회 20,742 · 공감 2 · 댓글 25
Llama 3.1 8B를 테스트 하다가, 문득 70B를 운영하려면 어느 정도 사양이 필요한지 caht gpt에게 물어봤습니다. 요즘 chat gpt가 인터넷 검색이 되서, 편하더라고요.
개인이 70B 최소사양을 맞추기는 어렵습니다. gpu 메모리가 너무 필요해서요. 그렇지만 양자화를 한다면, gpu 메모리가 35기가면 되네요. Llama 3.1 - 405B, 70B & 8B, 다국어 및 긴 컨텍스트 (huggingface.co)
그러면 4090 를 sli로 연결하면 단순 계산으로 48기가가 나오니까 가능하지 않을까 이런 생각이 드네요.
chat gpt에게 가격까지 물어봤더니 대략 7,000 달러가 든답니다. 1,500원 잡으면 850만원이지만, 한국에서는 더 비쌀 수 있으니까 대략 1000만원 잡아겠죠. (대략이니까요) 70B라.. 돈만 있으면 한번 질러 보고 싶은 생각이 막 드네요. ㅋㅋ
-
메인보드 및 CPU:
- 메인보드: MSI Z790 칩셋 기반 메인보드 (256GB 메모리 지원) - 약 $400~$500.
- CPU: Intel Core i9-14900KF - 약 $600~$700 (Best Buy) (Memory Express).
-
그래픽 카드:
- NVIDIA RTX 4090 (2개) - 각각 약 $1,600~$1,800, 총 $3,200~$3,600 (Best Buy) (Memory Express).
-
메모리:
- 256GB DDR5 RAM - 약 $1,200~$1,500 (Memory Express).
-
파워 서플라이:
- 1000W 80 Plus Gold 파워 서플라이 - 약 $150~$200 (Microless).
-
케이스:
- 고성능 게이밍 케이스 (쿨링 시스템 포함) - 약 $150~$250 (Microless).
-
저장 장치:
총합:
- 메인보드 및 CPU: $1,000 ~ $1,200
- 그래픽 카드 (2x RTX 4090): $3,200 ~ $3,600
- 메모리 (256GB DDR5): $1,200 ~ $1,500
- 파워 서플라이: $150 ~ $200
- 케이스: $150 ~ $250
- 저장 장치 (2TB NVMe SSD): $200 ~ $300
총 비용:
- 전체 비용: $6,100 ~ $7,050
댓글 25
이걸로 보시면, 모델과 quantization level(precision), gpu 등을 선택하면 inference 하는데 몇개가 필요한지 계산해줍니다. 말씀하신 llama3.1 70B 확인해보니 말씀대로 4bit quantization 했을때 inference 를 위해 4090 두대가 필요하네요
대신 시퓨로 워크로드 분산을 합니다. 느려지죠
https://skimai.com/llama-3-1-vs-proprietary-llms-a-cost-benefit-analysis-for-enterprises/
일단 70B는 rtx 6000 Ada 두개 달린걸로는 잘 돌더군요. 2천정도 들더군요
NVIDIA A100 80GB GPU (8개): 약 $100,000 ~ $120,000
메모리 (1.5TB RAM): 약 $15,000 ~ $20,000
스토리지 (4TB NVMe SSD): 약 $1,000 ~ $2,000
CPU: 약 $6,000 ~ $10,000
파워 서플라이: 약 $500 ~ $1,000
냉각 시스템: 약 $1,000 ~ $3,000
기타 비용 (케이스, 네트워킹 등): 약 $2,000 ~ $5,000
총 예상 비용
총 비용: 약 $125,500 ~ $161,000
perplexity에서도 답은 비슷합니다.
Llama 3.1 405B 모델을 운영하기 위해서는 상당한 컴퓨팅 리소스와 비용이 필요합니다. 405B 모델의 경우 다음과 같은 사양과 비용이 예상됩니다:
GPU 요구사항:
최소 8-12개의 고성능 GPU (예: NVIDIA A100 80GB)가 필요합니다.
A100 80GB GPU 한 대의 가격은 약 $10,000-$15,000입니다.
8개 기준으로 계산하면 GPU 비용만 $80,000-$120,000 정도가 됩니다.
RAM:
최소 1TB 이상의 시스템 RAM이 권장됩니다.
이 정도 용량의 RAM 비용은 약 $5,000-$10,000입니다.
저장 장치:
고속 NVMe SSD 수 TB가 필요합니다.
비용은 약 $1,000-$2,000 정도로 예상됩니다.
CPU 및 기타 부품:
고성능 멀티코어 CPU와 기타 부품 비용으로 약 $5,000-$10,000이 추가될 수 있습니다.
전력 공급 장치 및 냉각 시스템:
고성능 시스템을 위한 전력 공급 장치와 냉각 시스템에 추가로 $2,000-$5,000 정도가 소요될 수 있습니다.
총 예상 비용:
이러한 요구사항을 모두 고려하면, Llama 3.1 405B 모델을 운영하기 위한 하드웨어 총 비용은 대략 $100,000-$150,000 (약 1억 3천만원 - 2억원) 정도로 추정됩니다.