KT도 한국어 특화 언어모델 ‘믿:음 2.0’ 오픈소스 공개… 누구나 상업적 사용 가능

KT가 자체 개발한 한국어 특화 언어모델 ‘믿:음 2.0’을 오픈소스로 공개한다고 3일(한국 시간) 발표했다. 이번 공개는 AI 개발자 플랫폼 허깅페이스(HuggingFace)를 통해 이뤄지며, 기업과 개인, 공공기관 누구나 상업적으로 제약 없이 활용할 수 있다. 공개되는 모델은 115억 파라미터 규모의 ‘믿:음 2.0 베이스(Base)’와 23억 파라미터 규모의 ‘믿:음 2.0 미니(Mini)’ 2종으로 구성된다. 두 모델 모두 한국어와 영어를 지원한다. 110억 파라미터 이상의 한국어 범용 LLM을 상업적으로 활용 가능한 오픈소스로 공개한 것은 국내 최초다.

믿:음 2.0은 한국의 사회적 맥락과 한국어 고유의 언어적·문화적 특성을 반영해 학습한 AI 모델이다. KT는 국내 교육용 도서, 문학 작품, 법률 및 특허 문서, 각종 사전 등 다양한 분야에서 방대한 한국 특화 데이터를 확보해 학습에 활용했다. 저작권 이슈가 있는 데이터는 모두 제거하는 등 고품질 데이터를 선별해 가공했다.

성능 평가에서도 우수한 결과를 보였다. KT와 고려대학교가 공동 개발한 한국어 AI 역량 평가 지표 ‘Ko-Sovereign(코-소버린)’ 벤치마크에서 유사 규모의 국내 기성 모델과 글로벌 최고 수준의 오픈소스 모델을 능가하는 점수를 기록했다. 한국 관련 전문 지식 이해도를 측정하는 ‘KMMLU’와 한국어 언어모델 평가 지표 ‘HAERAE’에서도 국내외 주요 오픈소스 모델보다 우수한 성능을 나타냈다.

KT는 믿:음 개발 단계에서 리벨리온과 협력해 국산 AI 반도체에서의 동작을 최적화했고, 프렌들리AI와 함께 사용자가 허깅페이스를 통해 무료로 체험할 수 있는 환경도 제공한다. 또한 마이크로소프트와의 협업으로 GPT-4에 한국적 사고를 추가 학습시키는 방식의 모델도 순차 공개할 예정이다.

KT Gen AI Lab장 신동훈 상무는 “믿:음 2.0은 일반적인 생성 능력을 갖추면서도 한국의 문화와 언어를 깊이 이해하도록 고도화된 AI 모델”이라며 “국내 사용자들에게 고성능 한국적 AI 모델에 대한 새로운 대안을 제시하는 한편 글로벌 경쟁력을 갖추게 될 중요한 발판이 될 것”이라고 말했다.

해당 기사의 원문은 KT 뉴스룸에서 확인 가능하다.

이미지 출처: KT