미스트랄 AI, GPT 3.5보다 뛰어난 성능의 개방형 대규모 언어 모델 Mixtral 출시

디크립트에 따르면 파리에 본사를 둔 스타트업 미스트랄 AI는 여러 벤치마크에서 오픈AI의 GPT 3.5보다 더 효율적이면서도 더 뛰어난 성능을 보이는 개방형 대규모 언어 모델(LLM)인 믹스트랄을 출시했다고 합니다. 이 회사는 최근 20억 달러의 기업가치를 인정받아 벤처 캐피털 회사인 Andreessen Horowitz(a16z)로부터 거액의 시리즈 A 투자를 유치했으며, 기술 대기업인 Nvidia와 Salesforce가 참여했습니다. 믹스트랄은 희소 전문가 혼합(MoE)이라는 기술을 사용하는데, 미스트랄은 이 기술이 이전 모델인 미스트랄 7b는 물론 더 강력한 경쟁사보다 더 강력하고 효율적이라고 말합니다. MoE는 개발자가 복잡한 문제를 해결하기 위해 여러 개의 가상 전문가 모델을 훈련시키는 머신 러닝 기법입니다. 각 전문가 모델은 특정 주제나 분야에 대해 훈련되며, 문제가 발생하면 에이전트 풀에서 전문가 그룹을 선택하여 자신의 전문 지식에 더 적합한 결과를 결정합니다. 미스트랄 AI는 믹스트랄이 총 467억 개의 파라미터를 가지고 있지만 토큰당 129억 개의 파라미터만 사용하므로 129억 개의 모델과 동일한 속도와 비용으로 입력을 처리하고 출력을 생성할 수 있다고 주장합니다. 또한 Mixtral은 대부분의 벤치마크에서 6배 빠른 추론으로 라마 2 70B보다 성능이 뛰어나며, 대부분의 표준 벤치마크에서 GPT 3.5와 일치하거나 더 나은 성능을 보인다고 말합니다. Mixtral은 허용된 Apache 2.0 라이선스에 따라 라이선스가 부여되어 개발자가 자유롭게 모델을 검사, 실행, 수정하고 그 위에 맞춤형 솔루션을 구축할 수 있습니다. 하지만 Mistral은 '오픈 웨이트'만 공개했고, 핵심 모델의 라이선스 때문에 Mistral AI와 경쟁하는 데 사용할 수 없기 때문에 Mixtral이 100% 오픈 소스인지에 대한 논란이 있습니다. 이 스타트업은 오픈소스 프로젝트에서 흔히 볼 수 있는 훈련 데이터 세트와 모델 생성에 사용된 코드를 제공하지 않았습니다. 미스트랄 AI는 믹스트랄이 영어 외에도 프랑스어, 독일어, 스페인어, 이탈리아어, 영어를 마스터하는 등 외국어에 능숙하게 작동하도록 미세 조정되었다고 말합니다. 또한, 세심한 인스트럭션 추종을 위한 인스트럭션 버전인 Mixtral 8x7B Instruct도 출시되어 MT-Bench 벤치마크에서 최고 점수인 8.3점을 획득하여 현재 벤치마크에서 최고의 오픈소스 모델로 인정받고 있습니다. 믹스트랄은 허깅 페이스를 통해 다운로드할 수 있으며, 사용자는 온라인에서도 인스트럭트 버전을 사용할 수 있습니다.