국산 AI 모델 엑사원 2.0이 공개되었다고 하네요
조회 5,127 · 공감 1 · 댓글 5
*관련 기사
정부의 ‘독자 인공지능(AI) 파운데이션 모델 프로젝트’에 참여 중인 LG AI연구원이 국내 최대인 7500억 개 파라미터(매개변수) 규모의 ‘K-엑사원 2.0’을 공개했다. 매개변수는 두뇌의 뇌세포 수에 비유되는데, 숫자가 클수록 더 똑똑하고 복잡한 생각을 할 수 있다는 의미다.
2360억 개 파라미터 규모의 1차 모델에 비해 크기가 3배 이상 커진 모델로 벤치마크 평가에서도 중국 지푸(GLM-5.1), 알리바바(큐원 3.5), 딥시크(V4 프로 맥스) 등 글로벌 선도 모델과 비교해 높거나 대등한 성능을 기록했다.
https://www.munhwa.com/article/11606394
한번 써보고 싶은데 로컬 LLM 방식인 것 같아서 접근하기가 어렵네요 (제가 잘못 알고 있을 수도 있습니다.)
그럼에도 불구하고 자랑스럽고 희망이 느껴지는군요
댓글 5
저거 가중치만 계산해도
BF16/FP16: 750B × 2바이트 ≈ 1.5TB
FP8: 약 750GB
FP4/4비트: 약 375GB
입니다 4비트로 돌릴려고해도 그래픽 카드램만 375GB에 다른 KV캐쉬 같은거 생각하면 블랙웰 서버랙은 들고 와야할듯요
뭐 GB300 4장이면 되긴 할겁니다
블랙웰 서버렉이라 하시니 확 와닿는군요 ㄷㄷ
사실 그냥 돌리는것만 따지면 블랙웰 서버렉은 좀 오바긴 하구요 ㅋㅋㅋ
GPT가 계산해준건데 GB200 NVL72 서버렉으로
추론: 아주 넉넉하게 가능.
파인튜닝: LoRA나 일부 파라미터 튜닝은 충분히 가능할 가능성이 큼.
750B 전체 학습·풀 파인튜닝: 한 랙으로는 부족
이라고 합니다