DeepSeek, 1.6조 개의 파라미터를 갖춘 V4 모델 공개

DeepSeek이 V4 시리즈 오픈소스 모델의 프리뷰 버전을 공개했으며, MIT 라이선스를 적용했고, 모델 파라미터는 이미 Hugging Face와 ModelScope에 공개되었습니다. 이 시리즈는 두 가지 MoE 모델을 포함하며, 그중 V4-Pro는 총 파라미터 약 1.6조 개, 토큰당 활성화 파라미터 490억 개를, V4-Flash는 총 파라미터 2,840억 개, 활성화 파라미터 130억 개를 갖췄으며, 모두 100만 토큰의 컨텍스트를 지원한다. 관계자는 V3.2 버전과 비교해 장문 추론 시 메모리 사용량과 계산 비용이 모두 현저히 감소했다고 밝혔습니다.