Moonshot의 Kimi K3는 연산보다 메모리에 더 중점을 둔 모델일 수 있다

Kimi K3으로는 Memory가 Winner 중 하나라는 평이있습니다.

Kimi K3이 엔비디아의 최신칩없이 기술적인 breakthrough를 해냈는지 아니면 distillation인지 모르겠지만 젠슨황의 주장대로 중국이 고립된 환경이 더 중국의 기술자립도와 성장을 이끌어내는건 맞는것 같습니다. 현재 주식시장의 변동성도 이러한 블확실성이 반영되는 것 같구요.

이하 블룸버그 기사입니다.

2025년 초 DeepSeek의 R1 모델이 공개되었을 때, 인공지능이 이전에 예상했던 것보다 훨씬 적은 컴퓨팅 성능만으로도 동작할 수 있다는 우려가 확산되면서 **엔비디아(Nvidia)**의 시가총액 약 6,000억 달러가 하루 만에 증발했다.

지난 금요일 Moonshot AI의 Kimi K3 공개 역시 비슷한 시장 반응을 불러왔으며, 반도체 관련 주식들이 큰 폭으로 하락하는 데 영향을 미쳤다.

그러나 이러한 비교는 중요한 차이점을 간과하고 있을 수도 있다.

Kimi K3와 같은 모델들은 컴퓨팅 자원을 더욱 효율적으로 사용하는 것을 목표로 설계되었지만, 실제로는 여전히 엄청난 양의 메모리를 필요로 한다. 이러한 특성은 SK하이닉스, TSMC, 엔비디아와 같은 기업들의 수요를 계속 뒷받침할 가능성이 있다.

Kimi K3는 **2조 8천억 개의 파라미터(parameter)**를 포함하고 있으며, 이는 현재까지 중국 최대 규모의 AI 모델이다. 또한 **희소성 비율(sparsity ratio)**을 사상 최고 수준으로 끌어올렸다.

희소성 비율이 높다는 것은 전체 파라미터 중 실제 작업 수행 시 활성화되는 파라미터의 비중이 더 적다는 의미다. 즉, 토큰(token) 하나를 처리하는 데 필요한 연산량(compute)이 줄어들어 계산 효율성이 향상된다.

파라미터는 결국 메모리에 저장되는 숫자 하나하나에 불과하다.

Kimi K3는 저정밀도(lower-precision) 데이터 형식을 이용해 모델을 압축했음에도 불구하고, 전체 파라미터를 저장하는 데 약 1.4TB의 메모리가 필요하다.

K3가 널리 채택될 경우, 엔비디아의 Blackwell GB300과 같은 대용량 메모리를 탑재한 AI 칩에 대한 수요도 함께 증가할 것으로 예상된다.

컴퓨팅 자원은 **사용자가 AI에 질문하거나 요청할 때마다 계속 발생하는 운영비용(OPEX)**이다.

반면 메모리는 **초기에 설치해야 하는 인프라(CAPEX)**로, 한 번 구축하면 여러 사용자가 동일한 하드웨어를 장기간 공유하며 사용할 수 있다.

또 다른 중요한 이정표도 다가오고 있다.

7월 27일, Moonshot은 **Kimi K3의 모델 가중치(model weights)**를 공개할 계획이다.

그러면 기업들은 Moonshot의 클라우드 서비스를 이용하지 않고도 직접 Kimi K3를 자체 서버에서 실행할 수 있게 된다.

소프트웨어 자체는 무료로 공개되지만, 대규모 서비스에 활용하려는 기업들은 여전히 상당한 AI 하드웨어를 직접 구축해야 한다.

한편 알리바바도 지난 주말 Qwen 3.8-Max Preview를 공개했다.

이 모델은 2조 4천억 개의 파라미터를 갖추고 있으며, 성능 면에서는 세계 최고 수준의 AI 모델들과 비슷한 수준이라고 회사는 설명했다. 다만 아직 공식 벤치마크 결과는 공개하지 않았다.

중국 AI 개발사들이 자국 반도체에 맞춰 모델을 최적화하는 사례가 늘어나면서, 중국 자체 AI 하드웨어 생태계 역시 수혜를 입을 가능성이 커지고 있다.

이러한 기대감 속에 중국 기술주 중심의 ChiNext 지수는 월요일 장중 최대 3.6% 상승했다.

이번 발표들은 종합적으로 볼 때, 최첨단 AI 모델 경쟁이 OpenAI와 Anthropic 같은 미국 선도 연구소들만의 무대가 아니라는 사실을 보여준다.

이는 미국 AI 모델 기업들의 **가격 결정력(pricing power)**에는 부담으로 작용할 수 있다.

반면, 점점 더 강력한 AI 시스템을 운영하기 위해 필요한 데이터센터와 AI 반도체 등 인프라 투자는 계속 확대될 가능성이 높다.