크래프톤, 210억 매개변수 음성 AI ‘라온 스피치’ 공개…30B급 이하 한국어 1위

크래프톤이 음성 AI 파운데이션 모델 ‘A.X K2 라온 스피치(A.X K2 Raon-Speech)’를 허깅페이스에 공개했다고 7월 29일 밝혔다. 과학기술정보통신부의 독자 AI 파운데이션 모델 프로젝트에서 SK텔레콤 정예팀으로 참여해 수행한 연구의 결과물이다.

크래프톤은 앞서 지난 4월 AI 모델 브랜드 ‘라온(Raon)’을 출범하고 음성 언어 모델과 실시간 음성 대화 모델, 음성 합성(TTS) 모델, 비전 인코더 등 4종을 오픈소스로 공개한 바 있다. 이번 모델은 그 연장선에 해당한다.

이 모델은 SK텔레콤의 소형 언어모델 ‘A.X K2’에 크래프톤이 자체 개발한 음성 기술을 적용해 음성을 이해하고 생성하도록 구현한 음성 언어모델이다. 210억 매개변수 규모로, 30B 이하 공개 음성 언어모델 가운데 한국어 종합 성능 1위, 영어 종합 성능 3위를 기록했다. 평가는 음성 인식과 합성, 이해, 질의응답 등 6개 영역에서 한국어 24개와 영어 22개 등 총 46개 벤치마크로 진행됐다.

기술 측면에서는 사람의 목소리를 AI가 이해할 수 있는 정보로 변환하는 음성 인코더와, AI가 생성한 정보를 자연스러운 음성으로 복원하는 코덱을 자체 학습했다. 언어모델의 텍스트 역량을 유지하면서 음성 입력과 출력을 안정적으로 연결하는 방식을 개발해 적용했다. 감정과 억양 등 목소리에 담긴 정보를 손실 없이 활용해 자연스러운 음성 답변을 생성한다는 점을 강조했다.

이번 연구로 축적한 음성 AI 역량은 이용자와 함께 플레이하는 AI 캐릭터(CPC) 고도화에 활용할 계획이다. 이강욱 크래프톤 최고AI책임자(CAIO)는 “AI 파운데이션 기술을 꾸준히 연구하고 고도화해 온 결과물”이라며 “앞으로도 게임에 필요한 AI 파운데이션 기술을 지속적으로 고도화해 새로운 게임 경험을 만들어 나가겠다”고 말했다.

자세한 내용은 크래프톤에서 확인할 수 있다.

이미지 출처: AI 매터스