오픈소스AI
-
DeepSeek-V3 논문 리뷰: MoE 기반 오픈소스 LLM이 GPT-4o를 넘어선 비결
DeepSeek-V3는 671B 파라미터 MoE 아키텍처로 37B만 활성화하면서 GPT-4o급 성능을 달성한 오픈소스 LLM입니다. MLA, Auxiliary-Loss-Free 부하 균형, Multi-Token Prediction 등 핵심 기술을 리뷰합니다.
DeepSeek-V3는 671B 파라미터 MoE 아키텍처로 37B만 활성화하면서 GPT-4o급 성능을 달성한 오픈소스 LLM입니다. MLA, Auxiliary-Loss-Free 부하 균형, Multi-Token Prediction 등 핵심 기술을 리뷰합니다.