스태빌리티 AI, 업계 최초 스마트폰서 작동 가능한 오디오 생성 모델 공개

스태빌리티 AI(Stability AI)가 ARM과 협력하여 스마트폰에서도 작동하는 텍스트 기반 오디오 생성 모델 ‘스테이블 오디오 오픈 스몰(Stable Audio Open Small)’을 오픈소스로 공개했다. 스태빌리티 AI는 14일(현지시간) 공식 블로그를 통해 ARM CPU에 최적화된 3억 4,100만 파라미터 규모의 텍스트-오디오 변환 모델을 발표했다. 이 모델은 짧은 오디오 샘플을 빠르게 생성하도록 설계되었으며, 스마트폰에서 8초 이내에 최대 11초 길이의 오디오를 생성할 수 있다.

이번 발표는 양사가 지난 모바일 월드 콩그레스(Mobile World Congress)에서 예고했던 협력의 결실이다. 전 세계 스마트폰의 99%에 사용되는 ARM 기술을 기반으로 일반 사용자들도 모바일 기기에서 생성형 AI를 통한 오디오 제작이 가능해졌다. 스테이블 오디오 오픈 스몰은 기존 스테이블 오디오 오픈(Stable Audio Open) 모델을 경량화한 버전으로, 크기와 속도를 개선하면서도 출력 품질과 명령어 정확성을 유지했다. 이 모델은 현재 시장에서 가장 빠른 스테레오 텍스트-오디오 변환 모델로 알려졌다.

모델의 주요 기술적 특징으로는 3억 4,100만 파라미터의 경량화된 구조(기존 모델은 11억 파라미터), 8초 이내의 빠른 오디오 생성 속도, ARM의 클레이디AI(KleidiAI) 라이브러리를 활용한 효율성이 있다. 특히 ARM CPU만으로 작동하기 때문에 고성능 하드웨어 없이도 접근성이 높아졌다. 스태빌리티 AI에 따르면, 스테이블 오디오 오픈 스몰은 텍스트 프롬프트를 사용해 짧은 오디오 샘플, 사운드 이펙트, 제작 요소를 생성하는 데 최적화되어 있다. 드럼 루프, 폴리(foley), 악기 리프, 앰비언트 텍스처 등을 만드는 데 적합하다.

컴팩트한 크기와 빠른 추론 속도 덕분에 ARM 기반 스마트폰과 엣지 디바이스에서 실시간 생성이 중요한 용도에 적합하다. AI 기반 창의적 미디어 작업이 엣지로 이동함에 따라, 작은 모델은 작업 복잡성에 맞게 컴퓨팅 리소스를 조정하는 데 도움이 된다. 스테이블 오디오 오픈 스몰은 현재 스태빌리티 AI 커뮤니티 라이선스(Stability AI Community License)에 따라 상업적, 비상업적 사용이 모두 무료로 제공된다. 관련 논문은 arXiv에서 확인할 수 있으며, 모델 가중치는 허깅페이스(Hugging Face)에서 다운로드할 수 있고, 코드는 깃허브(GitHub)에서 액세스할 수 있다.

ARM은 ARM 하드웨어에서 스테이블 오디오 오픈 스몰을 배포하는 과정을 안내하는 러닝 패스(Learning Path)를 제공하고 있으며, ARM 커뮤니티 블로그에서는 온디바이스 성능을 위해 최적화된 기술에 대한 자세한 내용을 확인할 수 있다. 이번 발표로 스마트폰 사용자들도 복잡한 하드웨어 없이 고품질 AI 오디오 생성 기술을 경험할 수 있게 되어, 모바일 환경에서의 생성형 AI 응용이 더욱 확대될 전망이다.