생성 AI의 품질과 다양성을 동시에 높이는 ‘다양성 보상 CFG 증류’ 기법 개발

Google DeepMind 연구진이 생성 AI 모델의 품질과 다양성을 동시에 향상시키는 새로운 기법인 ‘다양성 보상 CFG 증류(Diversity-Rewarded CFG Distillation)’를 개발했다. 이 기법은 기존 생성 AI 모델의 주요 한계점이었던 품질과 다양성 사이의 트레이드오프 문제를 해결하는 혁신적인 접근 방식을 제시한다.

연구팀은 이 기법을 통해 세 가지 주요 혁신을 이뤄냈다. 첫째, CFG 증류 기술을 개발하여 비용이 많이 드는 추론 시간 전략인 Classifier-Free Guidance(CFG)의 품질 이점을 모델 가중치에 직접 주입했다. 둘째, 생성물의 다양성을 직접적으로 보상하는 강화학습 목표를 도입했다. 셋째, 품질 중심 모델과 다양성 중심 모델의 가중치를 보간하여 배포 시 품질-다양성 트레이드오프를 제어하는 파레토 최적 모델 병합 기법을 개발했다.

이러한 접근 방식은 생성 AI 모델이 고품질의 결과물을 생성하면서도 다양성을 유지할 수 있게 해준다. 특히 창의적 분야에서 AI 모델이 사용자의 의도를 충족시키면서도 예상치 못한 혁신적인 결과물을 생성할 수 있게 한다는 점에서 큰 의미가 있다.

연구팀은 이 기법의 효과를 검증하기 위해 텍스트-음악 생성 모델인 MusicLM에 적용하여 광범위한 실험을 수행했다. 실험 결과, 다양성 보상 CFG 증류 기법을 적용한 모델이 기존 CFG를 사용한 모델보다 품질-다양성 측면에서 우수한 성능을 보였다.

구체적으로, 연구팀은 CFG 증류, 다양성을 위한 강화학습, 모델 병합이라는 세 가지 주요 구성 요소의 효과를 단계적으로 검증했다. CFG 증류를 통해 기존 CFG의 품질 향상 효과를 모델 가중치에 성공적으로 주입할 수 있었으며, 이는 추론 시간의 오버헤드 없이 CFG와 유사한 품질 향상을 달성했음을 의미한다.

다양성을 위한 강화학습은 생성물의 다양성을 크게 증가시켰다. 연구팀은 생성된 음악 샘플 간의 코사인 유사도를 기반으로 한 다양성 보상을 도입했으며, 이를 통해 모델이 동일한 프롬프트에 대해 더욱 다양한 음악을 생성할 수 있게 되었다.

마지막으로, 모델 병합 기법을 통해 품질과 다양성 사이의 트레이드오프를 효과적으로 제어할 수 있었다. 품질에 중점을 둔 모델과 다양성에 중점을 둔 모델의 가중치를 선형 보간함으로써, 배포 시 사용자의 요구에 따라 품질과 다양성의 균형을 조절할 수 있게 되었다.

인간 평가자들의 판단에 따르면, 이 기법으로 미세 조정된 후 병합된 모델은 CFG를 사용한 기본 모델보다 더 높은 품질과 다양성을 가진 샘플을 생성했다. 이는 제안된 기법이 실제로 생성 AI 모델의 성능을 향상시킬 수 있음을 입증하는 중요한 결과이다.

연구진은 이 기법이 음악 생성을 넘어 텍스트, 이미지, 비디오 생성 등 다양한 생성 AI 분야에 적용될 수 있을 것으로 전망했다. 특히 다양성 증진은 여러 측면에서 중요한 의미를 갖는다. 공정한 표현과 다원적 의견 형성을 촉진할 수 있으며, AI 모델이 다양한 추론 경로를 탐색하는 데 도움을 줄 수 있다. 또한, 다중 샘플 디코딩 전략을 향상시켜 더욱 풍부하고 다양한 생성 결과를 얻을 수 있을 것으로 기대된다.

그러나 연구진은 현재 사용된 다양성 측정 방식의 한계도 지적했다. 현재의 다양성 측정 방식은 임베딩 간의 코사인 유사도를 기반으로 하고 있는데, 이는 인간이 인식하는 다양성의 모든 측면을 완벽하게 포착하지 못할 수 있다. 예를 들어, 음악에서의 다양성은 멜로디, 리듬, 악기 구성, 장르 등 다양한 요소로 구성되는데, 단일 측정 방식으로 이 모든 측면을 충분히 반영하기는 어렵다.

이러한 한계를 극복하기 위해 연구진은 향후 연구 방향으로 몇 가지 제안을 했다. 첫째, 인간 피드백이나 AI 피드백을 직접 학습하는 다양성 임베딩 모델을 개발하는 것이다. 이를 통해 인간의 다양성 인식에 더 가까운 측정 방식을 구현할 수 있을 것이다. 둘째, 다중 다양성 보상을 도입하는 것이다. 음악의 경우 음색, 리듬, 화성 구조 등 다양한 측면에서의 다양성을 개별적으로 측정하고 보상함으로써 더욱 정교한 다양성 제어가 가능할 것으로 예상된다.

이번 연구 결과는 생성 AI 분야에서 품질과 창의성을 동시에 추구해야 하는 과제에 대한 중요한 해결책을 제시했다는 점에서 의의가 크다. 특히 창의적 분야에서 AI의 활용이 증가하고 있는 현 시점에서, 이 기법은 AI가 인간의 창의성을 보완하고 확장하는 데 중요한 역할을 할 수 있을 것으로 기대된다.

향후 이 기법이 텍스트-음악 생성을 넘어 다양한 생성 AI 응용 분야로 확장될 수 있을지 주목된다. 예를 들어, 텍스트 생성 모델에서는 다양한 문체와 관점을 제시하는 데 활용될 수 있으며, 이미지 생성 모델에서는 동일한 설명에 대해 다양한 시각적 해석을 제공하는 데 사용될 수 있다. 또한, 비디오 생성이나 3D 모델링 등 더 복잡한 생성 태스크에서도 이 기법의 적용 가능성을 탐구해볼 만하다.

결론적으로, ‘다양성 보상 CFG 증류’ 기법은 생성 AI 모델의 성능을 한 단계 끌어올릴 수 있는 혁신적인 접근 방식이다. 이는 AI가 단순히 인간의 지시를 따르는 도구를 넘어, 창의적 파트너로서의 역할을 할 수 있게 하는 중요한 발전이라고 할 수 있다. 앞으로 이 기법이 더욱 발전하고 다양한 분야에 적용되면서, AI와 인간의 창의적 협업이 어떻게 진화할지 기대된다.

기사에 인용된 리포트 원문은 링크에서 확인할 수 있다.

기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다. 

관련 콘텐츠 더보기