미스트랄AI(Mistral AI)가 엣지 컴퓨팅과 온디바이스 사용을 위한 새로운 AI 모델 ‘미니스트랄(Ministraux)’을 발표했다. 이번에 공개된 모델은 미니스트랄 3B(Ministral 3B)와 미니스트랄 8B(Ministral 8B) 두 가지다.
미스트랄AI에 따르면 이 모델들은 10B 이하 카테고리에서 지식, 상식, 추론, 함수 호출 및 효율성 측면에서 새로운 기준을 제시했다. 두 모델 모두 최대 128k의 컨텍스트 길이를 지원하며, 미니스트랄 8B는 특별한 인터리브 슬라이딩 윈도우 주의 패턴을 통해 더 빠르고 메모리 효율적인 추론이 가능하다.
미니스트랄 모델은 온디바이스 번역, 인터넷이 없는 환경에서의 스마트 비서, 로컬 분석, 자율 로봇 등 다양한 분야에서 활용될 수 있다. 미스트랄AI는 이 모델들이 개인 개발자부터 글로벌 제조 기업에 이르기까지 폭넓은 사용자층의 요구를 충족시킬 수 있다고 밝혔다.
또한 미스트랄 라지(Mistral Large)와 같은 더 큰 언어 모델과 함께 사용될 경우, 다단계 에이전트 워크플로우에서 효율적인 중개자 역할을 할 수 있다. 사용자 의도에 기반한 입력 구문 분석, 작업 라우팅, API 호출 등을 매우 낮은 지연 시간과 비용으로 처리할 수 있다는 것이 회사 측의 설명이다.
미스트랄AI는 여러 태스크에 걸쳐 미니스트랄 모델의 성능을 검증했다. 그 결과 젬마 2(Gemma 2), 라마 3(Llama 3) 시리즈 등 경쟁 모델들을 일관되게 능가하는 성능을 보여주었다. 특히 미니스트랄 3B는 크기가 두 배 이상인 미스트랄 7B보다 대부분의 벤치마크에서 우수한 성능을 나타냈다.
미니스트랄 모델은 현재부터 사용 가능하며, API를 통해 제공된다. 미니스트랄 8B는 100만 토큰당 0.1달러, 미니스트랄 3B는 100만 토큰당 0.04달러의 가격으로 책정됐다. 두 모델 모두 미스트랄 상용 라이선스로 제공되며, 연구 목적의 경우 미스트랄 연구 라이선스도 이용할 수 있다.
자체 배포를 원하는 경우 상용 라이선스에 대해 미스트랄AI에 문의해야 한다. 회사 측은 특정 사용 사례에 맞춰 모델의 무손실 양자화를 지원하여 최대의 성능을 끌어낼 수 있도록 돕겠다고 밝혔다.
미스트랄AI는 “미스트랄 7B 출시 이후 1년 만에 우리의 가장 작은 모델인 미니스트랄 3B가 대부분의 벤치마크에서 이미 그것을 능가하고 있다”며 “앞으로도 최첨단 모델 개발에 매진할 것”이라고 전했다.
이번 미니스트랄 모델의 출시로 엣지 AI와 온디바이스 AI 분야에서 새로운 혁신이 일어날 것으로 기대된다. 개인정보 보호와 저지연 처리가 중요한 응용 분야에서 특히 유용하게 활용될 전망이다.
미니스트랄에 대한 자세한 정보는 링크에서 확인할 수 있다.
관련 콘텐츠 더보기
뉴스레터 구독하면 자동 응모