챗GPT 3.0 원본이 겨우 350GB였더군요
조회 4,214 · 공감 1 · 댓글 6
처음 나왔을 때 AGI니 뭐니 했던 GPT-3이 겨우 350GB였더라구요. 이제 1.5~5TB에 달한다는 최신 LLM들과 비교해보면 1/10도 안되는 모델로 그렇게 호들갑을 떨었던게 지금보니 우습기 까지하네요.
그런데 진짜 놀라운건 Kimi K3가 학습 파라미터가 거의 10배쯤되는데도 원본 기준 350GB vs 1.4TB(MXFP4)로 5배 밖에 안커졌다는 거네요. 그리고 성능을 비교해보면 진짜 파라미터 10배 차이밖에 안나는데 어른과 아이의 지능차이는 우스울정도로 차이가 납니다.
진짜 LLM은 크기를 키운것만으로 원래는 없었던 뭔가가 발생하는 창발이라는 말에 딱 맞는 현상같습니다.
이제 dense모델은 속도의 문제 때문에 기피되어지고 전부 익스퍼트들로 나눠서 동작하는 MoE의 시대가 된듯 한데, 그래도 AGI가 만들어진다면 역시 dense모델이지 않을까 합니다.
참 재밌는 LLM의 발전이라고 생각됩니다.
여기서 학습파라미터가 다시 10배쯤 늘어나면 인간이 이해할 수 없는 그 무언가가 기다릴려나요? 벌써 특정부분에서는 인간의 이해를 벗어나기 시작한 거 같은데 말입니다.
댓글 6