딥시크 창업자 량원펑, 칩, 생태계, 스케일링, CUDA 해자 발언 정리

중국 천재의 생각입니다

참고하길 바랍니다

모델들의 최종적인 성능 격차는 종합적으로 평가해야 합니다. 모델 성능 비교가 의미 있으려면, 우선 '비용'이 같아야 합니다. 마치 같은 가격대의 자동차를 비교하는 것과 같죠.

좋은 모델과 나쁜 모델의 차이는 특정 기능 하나가 아니라 전체적인 완성도에서 갈려야 합니다.

앤스로픽(Anthropic)이 오픈AI(OpenAI)를 앞서고 있는 현재 상황이 장기적으로 갈까요? 저는 그렇게 보지 않습니다. 일시적인 현상일 뿐입니다. 앞으로 오픈AI와 구글이 서로 1, 2위를 다투게 될 겁니다. 사실 코드 에이전트 분야에서 앤스로픽의 우위가 생각보다 크지 않습니다. 오픈AI를 완전히 압도하는 수준은 아니거든요.

저희 직원들 중 절반 정도는 여전히 오픈AI가 더 낫다고 생각합니다. 앤스로픽이 선점 효과를 누리고는 있지만, 그건 금방 사라질 겁니다. 지속 가능한 우위는 아니라고 봅니다. 세 회사 모두 강력하지만, 그중에서 저희가 가장 효율적입니다. 비용이 가장 낮고 자금 소모율(burn rate)도 가장 적죠.

글로벌 AI 분업 구조에서 중국 기업들은 아마 '최대 생산자' 역할을 하게 될 겁니다. 기본적으로 생산 능력이 가장 크고, 칩 공급이나 전력 수급 면에서 유리하니까요. 그래서 중국 AI는 세계 3대 세력 중 하나가 될 가능성이 높습니다.

중국 기업들은 제품을 가장 저렴하게 만들 겁니다. 그리고 성능 면에서도 이미 많은 중국 제품이 미국 제품과 큰 차이가 없듯이, AI도 비슷해질 겁니다. 시스템적으로 비용을 낮춰서 더 저렴하게 공급하는 전략을 취하게 되겠죠.

저는 무언가를 결정할 때 습관적으로 '지금 시점에서 무엇이 가장 리턴(수익)이 큰가'를 생각합니다. 제품 개발의 리턴이 가장 크다면 그걸 할 것이고, AGI 선점이 가장 크다면 AGI에 올인할 겁니다. 그런데 지금은 제품 개발이 가장 리턴이 높은 시점이 아니라고 판단합니다.

국산 칩 적응(adaptation) 문제에 대해서 말씀드리자면, 지금이 역사적인 기회입니다. 이전에는 생태계가 너무 부실해서 칩을 사놓고도 제대로 쓰지 못했습니다. 엔비디아(NVIDIA)의 생태계가 너무나 강력했으니까요. 그 해자(moat)가 정말 깊었습니다.

하지만 이제 상황이 변하고 있습니다. 엔비디아 CUDA의 해자가 빠르게 무너지고 있는데, 이유는 세 가지입니다. 첫째, AI 자체가 생태계 구축을 훨씬 쉽게 만들어줍니다. AI가 코드를 짤 수 있으니까요.

AI를 활용하면 엔비디아의 생태계를 그대로 복제해서 구축하는 것이 가능해집니다. 둘째, 저희의 TileLang 같은 고수준 언어(high-level language)라는 신기술이 나왔습니다.

TileLang을 쓰면 CUDA 연산자를 빠르게 작성할 수 있습니다. AI와 결합한다면 엔비디아의 전체 생태계를 재구축하는 데 큰 장애물이 없을 것입니다. 아직 완성된 건 아니지만, 기술적인 경로(path)는 명확합니다.

셋째, CUDA는 원래 게이밍 GPU에서 진화했기 때문에 게이밍 설계에 묶여 있습니다. 과거에는 AI 연산이 게이밍에 비해 아주 작은 시장이었기에 그게 합리적이었죠.

하지만 이제 연산 카드 시장이 게이밍 시장보다 훨씬 커졌습니다. 굳이 둘을 묶어둘 이유가 없습니다. 이제는 분리되는 추세입니다. 화웨이든 엔비디아든 전용 칩들은 특성화될 것이며, 과거의 하위 호환성에 집착하지 않을 것입니다.

이런 맥락에서 엔비디아의 생태계 우위는 점차 사라집니다. 전용 칩으로 가면 CUDA는 더 이상 절대적인 기준이 아닙니다. 칩 설계 단계부터 이미 생태계 구축을 고려하고 있거든요.

복잡한 이야기지만, 결론적으로 지금이 국산 AI 칩으로 대체할 수 있는 역사적 기회라는 겁니다. 1년 안에 증명될 겁니다. 국산 칩 생태계가 완전히 작동한다는 사실을요. 이전에는 '문제 많다', '못 쓴다'는 인식이 강했지만, 1년 안에 팩트로 그 인식을 뒤집을 수 있다고 봅니다.

하드웨어나 생태계는 이미 괜찮습니다. 유일한 문제는 '생산 능력(capacity)'입니다. 만약 정상적인 상업 조건에서 엔비디아 카드를 마음껏 살 수 있었다면 국산 대체는 어려웠을 겁니다. 하지만 지금은 엔비디아 카드를 구할 수 없으니 모두가 강제로 국산 칩을 써야 하는 상황이죠.

이런 상황이라면 적응하는 건 전혀 문제가 안 됩니다. 시간은 좀 걸리겠지만, 엔비디아와 대등하거나 혹은 더 나은 생태계를 구축하는 데 아무런 장벽이 없다고 봅니다.

저희는 주로 화웨이와 협력하고 있습니다. 화웨이가 적응 작업을 주도하지만, 저희도 생태계 구축에 깊숙이 참여하고 있습니다. 화웨이의 문제는 역시 생산량입니다. 저희에게 약 16,000장의 카드를 제공할 텐데, 빅테크 기업들이 수십만 장을 가져가는 것에 비하면 적은 수치죠. 하지만 그게 화웨이가 줄 수 있는 최선일 겁니다.

그래서 올해 당장 화웨이 칩만으로 수천억 개의 파라미터를 가진 초거대 모델을 학습시키기는 어렵습니다. 하지만 내년이나 내후년에는 가능할 겁니다.

화웨이 적응 작업에서 저희가 주로 하는 일은 고수준 언어 컴파일러와 TileLang을 개선하는 것입니다. TileLang이 준비되면 많은 문제가 해결될 겁니다. 복잡한 과정이지만 현재 진행 중이며, 나중에 더 자세히 설명해 드리겠습니다.

참고로 V3 학습 때, 저희는 엔비디아 카드를 썼지만 엔비디아의 '생태계'에 의존하지 않았습니다. 고수준 컴파일러인 TileLang을 사용해 모든 것을 구축했기에, 사실상 엔비디아 생태계로부터 독립적이었다고 볼 수 있습니다.

이 과정을 화웨이 카드에서 그대로 재현하면 전환이 완료됩니다. 이건 국산 칩 생태계가 부실하다는 편견을 완전히 깨부수는 역사적인 미션이 될 수 있습니다. 조건은 다 갖춰졌고 시간만 있으면 됩니다. 1년 안에 많은 분이 이 문제가 해결된 것을 보게 될 것이며, 결국 남는 문제는 생산량뿐일 겁니다.

저는 국산 컴퓨팅 자원에 대해 낙관적입니다. 이 지점에서 엔비디아는 스스로 무덤을 파고 있는 셈입니다. 화웨이의 950 슈퍼노드는 성능과 가격 면에서 엔비디아의 GB200/GB300을 충분히 대체할 수 있습니다. 가격이 좀 더 비쌀 수는 있겠지만, 50%, 100%, 심지어 200% 더 비싸더라도 대체 가능합니다.

가격이 두 배라도 대체가 된다는 건, 그만큼 가치가 있다는 뜻입니다. 기능적으로도 GB300이 하는 모든 일을 화웨이 슈퍼노드 역시 비슷한 지연 시간(latency)으로 수행할 수 있습니다. 유일한 비용은 '효율'과 '시간'입니다. 화웨이 카드 4장이 엔비디아 카드 1장과 맞먹고, 기술적으로 약 2년 정도 뒤처져 있다는 점이죠.

4대 1의 비율은 이해할 수 있는 수준입니다. 2년의 격차란, 화웨이 950 4대가 GB300 1대와 비슷하다는 뜻입니다. 화웨이 950 슈퍼노드는 올해 3, 4분기에 출고될 예정인데, 엔비디아 GB200은 2년 전 3분기에 나왔으니 딱 2년 차이가 납니다.

물론 엔비디아가 올해 3분기에 신제품을 낼 수도 있습니다. 정리하자면, 미국과의 '생태계 격차'는 사라지겠지만, '칩 자체의 성능 격차'는 4배의 수량과 2년의 시간 차이가 난다고 보시면 됩니다.

질문하신 '수직 계열화'에 대해 답해드리겠습니다. 상류(칩 제조) 쪽으로 통합하는 건 원치 않습니다. 그렇다면 하류(애플리케이션) 쪽으로 통합하겠느냐? 그것도 원하지 않습니다. 다른 분들이 하셨으면 좋겠습니다. 저희가 모든 걸 다 가지려 하지 않고, 우리가 가장 잘하고 핵심이라고 생각하는 부분만 책임지고 나머지는 사용자들에게 남겨두고 싶습니다.

직접적으로 연관된 부분들은 저희보다 산업 파트너분들이 더 잘 집중하실 수 있는 영역이며, 제가 정의 내릴 문제는 아니라고 봅니다.

대규모 클러스터를 직접 구축하겠느냐고요? 네, 당연합니다. 우리는 항상 그렇게 해왔고 모든 클러스터가 자체 구축입니다. 하지만 자체 칩 개발 여부는 '리턴'에 달려 있습니다.

발전소를 운영한다고 해서 발전기까지 직접 만들 필요는 없지 않습니까? 가격만 합리적이라면 장비를 사서 쓰면 됩니다. 굳이 왜 직접 만들겠어요?

그래서 저는 칩을 직접 만들지 않아도 되기를 바랍니다. 합리적인 가격에 살 수만 있다면 그럴 이유가 없습니다. 엔비디아의 칩 수익 구조가 계속 유지되기는 어려울 것이라고 봅니다.

우리는 딱 한 가지 영역에만 집중하고 싶습니다. AI 시장은 충분히 큽니다. 모든 걸 다 할 필요가 없어요. 집중해서 충분한 수익을 낸다면, AI 시대에 수조 달러 가치의 기업들이 많이 나올 텐데 저희도 그중 하나가 되면 충분합니다.

우리는 우리 몫의 작은 역할만 수행하겠습니다. 그중 하나가 되는 것으로 만족합니다. 모든 것을 지배하려는 야심은 없습니다. 가장 어려운 것이 방향 전환인데, 다른 일을 정말 하고 싶어 하는 분들이 더 많은 아이디어를 낼 수 있을 겁니다. 그것이 저희의 태도입니다.

예를 들어 B2B나 B2C 시장에서, 억지로 폐쇄적인 루프(closed-loop)를 만들려 했던 곳들이 오히려 저희보다 성적이 좋지 않은 경우가 많습니다. 욕심을 부릴수록 더 꼬이게 되죠.

B2B 시장에 대해 말씀드리자면, B2B의 천장은 '수요'입니다. 현재의 AI 기술 수준에서 B2B 수요는 어느 정도 한계가 있습니다. 빠르게 성장하겠지만 무한정 커지지는 않을 겁니다. 컴퓨팅 파워가 아니라 수요 자체가 제약이 될 것이기 때문입니다.

지금 조건에서는 수익이 수요에 달려 있습니다. 회수 기간이 10개월 정도라면 기회가 오는 대로 다 잡겠지만, 사실 그렇게 많은 기회가 있지는 않습니다. 결국 수요는 기술적 돌파구가 마련되어야 더 커질 것입니다.

우리는 멀티모달(multimodality) 연구를 진행해 왔습니다. 제품이나 일반 사용자용 서비스에는 매우 중요하지만, '지능의 천장'을 높이는 관점에서는 메인 라인이 아니라 하나의 구성 요소일 뿐입니다.

물론 구성 요소로서 멀티모달은 반드시 해야 하기에 계속 하고 있습니다. 관련 모델들도 출시할 예정이고, V4 이후 버전부터는 네이티브 멀티모달을 지원할 겁니다. 하지만 저희에게 멀티모달은 '검색' 기능처럼 지능을 보조하는 도구이지, 지능 그 자체는 아닙니다.

스케일링(Scaling)에 대해서는 여전히 믿습니다. 규모가 커질수록 더 좋은 결과가 나오고 더 많은 능력이 해금됩니다. 저희를 막고 있는 유일한 것은 '컴퓨팅 자원'이지, 의지가 부족한 게 아닙니다.

아직 한계치(ceiling)에 도달하지 않았습니다. 지금 규모의 모델을 학습시키는 이유는 '이 정도면 충분하다'고 생각해서가 아니라, 저희가 가진 자원으로 감당할 수 있는 수준이기 때문입니다. 즉, 모델의 완성도가 아니라 자원의 한계에 맞춰 계산한 결과입니다.

현재로서는 스케일링의 효과가 여전히 뚜렷합니다. 소위 말하는 '스케일링의 벽'은 아직 멀었습니다. 실리콘밸리에서 벽에 부딪혔다고 말하는 건 그들의 기준에서 하는 얘기지, 중국에서는 아직 그 단계까지 가보지도 못했습니다.

스케일링에는 데이터 규모, 모델 크기, 학습 비용이 모두 포함됩니다. 컴퓨팅 제약 때문에 아직 한계점을 다 탐색하지 못했을 뿐, 저희는 끈질기게 밀어붙일 겁니다.

투자를 받아 컴퓨팅 자원이 더 확보된다면 더 큰 모델을 학습시키겠습니다. 가능하면 최대한 빨리, 6개월 안에 다 쏟아부을 수 있다면 좋겠지만 현실적으로는 어렵겠죠.

차세대 모델이 되려면 반드시 '지속적 학습(continuous learning)' 능력이 있어야 한다고 봅니다. 그전까지는 비용, 효율, 속도를 개선할 수 있겠지만, 진정한 도약은 지속적 학습에서 올 것입니다.

마지막으로, 왜 우리가 모델의 컴퓨팅 효율성에 이토록 집착하는지 묻는 분들이 계십니다. 의외로 효율성을 중요하게 생각하지 않는 곳들이 많더라고요. 상업적인 회사 입장에서는 효율성을 높일 동기가 별로 없습니다. 효율이 좋아진다는 건...

그래서 극단적인 효율성을 추구하지 않는 겁니다. 스타트업들이 '저비용'을 내세우는 경우는 거의 없습니다. 그들의 이익에 도움이 안 되니까요. 비용이 낮아지면 매출과 이익이 줄어들 수 있거든요.

하지만 이건 저희의 비전입니다. 저희 직원들은 평범한 사람들이기에, 서비스 이용에 돈이 든다는 사실을 잘 이해하고 공감합니다. 비용이 낮아져야 더 많은 사람이 혜택을 누릴 수 있다는 걸 알죠.

그래서 많은 동료가 비용 절감을 갈망합니다. 일반적인 상업적 관점에서는 우선순위가 아니겠지만, 저희는 다릅니다.