중국 AI 기업 딥시크가 새 언어모델 DeepSeek-V4 시리즈를 공개했다. 이번 시리즈는 DeepSeek-V4-Pro와 DeepSeek-V4-Flash 두 가지 Mixture-of-Experts, 즉 MoE 기반 모델로 구성됐으며, 두 모델 모두 최대 1M 토큰의 컨텍스트 길이를 지원한다.

DeepSeek-V4-Pro는 1.6T(49B 활성화) 파라미터의 대형 모델이며, DeepSeek-V4-Flash는 284B(13B 활성화) 파라미터의 경량 모델이다. 딥시크는 두 모델 모두 장문 입력 처리와 추론 효율을 동시에 겨냥했다고 설명했다. 

이번 모델의 가장 큰 기술적 특징은 하이브리드 어텐션 구조다. 딥시크는 압축 희소 어텐션과 고압축 어텐션을 결합해 긴 문맥 처리 비용을 낮췄다고 밝혔다. 회사 측 자료에 따르면 100만 토큰 문맥 환경에서 DeepSeek-V4-Pro는 DeepSeek-V3.2 대비 단일 토큰 추론 FLOPs를 27% 수준, KV 캐시는 10% 수준으로 줄였다. 

학습 규모도 대폭 확대됐다. DeepSeek-V4 시리즈는 32조 개 이상의 고품질·다양한 토큰으로 사전학습됐으며, 이후 지도 미세조정과 강화학습을 거친 도메인별 전문가 모델을 통합하는 방식의 후처리 파이프라인을 적용했다. 딥시크는 이를 통해 지식, 코딩, 수학, 장문 문맥, 에이전트형 작업 전반의 성능을 끌어올렸다고 설명했다. 

추론 모델은 사용 목적에 따라 Non-think, Think High, Think Max 세 가지 모드를 제공한다. Non-think는 빠른 응답에, Think High는 복잡한 문제 해결에, Think Max는 최대 추론 성능이 필요한 과제에 적합하도록 설계됐다. DeepSeek-V4-Pro-Max는 코딩 벤치마크와 일부 에이전트형 작업에서 최상위권 성능을 보였으며, DeepSeek-V4-Flash-Max는 더 작은 모델 규모에도 충분한 추론 예산이 주어질 경우 Pro 모델에 근접한 성능을 낸다고 소개됐다. 

모델 가중치는 Hugging Face와 ModelScope를 통해 MIT 라이선스로 제공된다.