새로운 생성형 AI 모델, 통합 확산 생성 (GUD)

생성형 AI 기술이 급속도로 발전하면서 다양한 생성 모델들이 등장하고 있다. 최근 네덜란드 암스테르담 대학교 연구진이 개발한 ‘통합 확산 생성(Generation with Unified Diffusion, GUD)’ 모델은 기존 생성 모델들의 장점을 통합한 새로운 프레임워크로 주목받고 있다.

GUD 모델은 확산 모델과 자기회귀 모델 사이의 엄격한 경계를 없애고 두 접근법을 연속적으로 보간할 수 있는 유연성을 제공한다. 이는 데이터 표현, 사전 분포, 노이즈 스케줄링 등 세 가지 주요 설계 측면에서의 자유도를 높임으로써 가능해졌다.

연구팀은 “우리의 목표는 기존 확산 모델의 한계를 뛰어넘어 AI 시대에 적합한 더욱 유연하고 강력한 생성 시스템을 구축하는 것”이라고 밝혔다. GUD 모델은 물리학의 재규격화군(renormalization group) 이론에서 영감을 받아 개발되었으며, 이를 통해 다중 스케일 시스템을 효과적으로 분석할 수 있게 되었다.

GUD 모델의 핵심 혁신은 세 가지 주요 설계 측면에서의 자유도 증가에 있다.

첫째, 데이터 표현의 기저 선택이다. GUD는 픽셀 기반, PCA, 푸리에 변환, 웨이블릿 등 다양한 기저에서 확산 과정을 진행할 수 있다. 이는 데이터의 다중 스케일 특성을 효과적으로 활용할 수 있게 해준다.

둘째, 사전 분포의 선택이다. 기존 확산 모델들이 주로 표준 정규 분포를 사전 분포로 사용한 반면, GUD는 다양한 공분산 구조를 가진 가우시안 분포를 사용할 수 있다. 이를 통해 데이터의 고유한 통계적 특성을 더 잘 반영할 수 있다.

셋째, 컴포넌트별 노이즈 스케줄링이다. GUD는 데이터의 각 컴포넌트에 대해 독립적인 노이즈 스케줄을 적용할 수 있다. 이는 데이터의 중요한 특징들을 선택적으로 보존하거나 생성하는 데 유용하다.

연구팀은 이러한 설계 자유도를 통해 ‘소프트 컨디셔닝(soft-conditioning)’ 모델을 구현했다. 이 모델은 표준 확산 모델과 자기회귀 모델 사이를 부드럽게 보간할 수 있어, 두 접근법의 장점을 결합할 수 있다.

GUD 프레임워크의 유연성은 다양한 생성 모델 접근법들을 원활하게 통합할 수 있는 가능성을 제시한다. 연구팀은 실험을 통해 웨이블릿 기반의 계층적 생성과 순차적 생성을 결합하는 방법을 시연했다.

이 프레임워크를 활용하면 이미지 확장, 인페인팅, 채색, 업스케일링, 조건부 생성 등 다양한 태스크를 쉽게 구현하고 일반화할 수 있다. 예를 들어, 연구팀은 GUD를 사용해 이미지를 열 단위로 순차적으로 생성하는 실험을 수행했다. 이를 통해 학습된 모델이 원래 학습 데이터의 크기를 넘어서는 이미지도 생성할 수 있음을 보였다.

연구팀의 실험 결과, 데이터 표현의 기저 선택, 사전 분포, 컴포넌트별 스케줄 등 GUD 모델의 세 가지 주요 설계 측면 모두가 최종 모델 품질에 영향을 미치는 것으로 나타났다.

특히 CIFAR-10 데이터셋을 사용한 실험에서, 표준 확산 모델과 유사하지만 약간 다른 설정에서 최적의 성능을 보이는 것을 확인했다. 이는 GUD 프레임워크를 통해 확산 모델의 품질을 더욱 개선할 수 있는 여지가 크다는 점을 시사한다.

연구팀은 또한 GUD 모델이 다양한 노이즈 스케줄에 대해 단일 네트워크로 학습될 수 있음을 보였다. 이는 모델의 유연성과 일반화 능력을 크게 향상시키는 결과로, 다양한 생성 작업에 동일한 모델을 사용할 수 있는 가능성을 열어준다.

연구팀은 계산 자원의 한계로 인해 광범위한 수치 실험과 중요 하이퍼파라미터 최적화에 제약이 있었다고 밝혔다. 그러나 이번에 제시된 이론적 프레임워크는 더욱 효율적인 확산 모델 개발, 다양한 응용, 새로운 아키텍처 설계로 이어질 수 있는 잠재력을 지니고 있다.

향후 연구에서는 GUD 모델의 다양한 설계 선택지들을 최적화하는 방법을 탐구할 예정이다. 특히 컴포넌트별 노이즈 스케줄의 수치적 최적화는 중요한 연구 주제가 될 것으로 보인다. 또한 이 프레임워크가 실제 대규모 생성 모델에 어떻게 적용될 수 있는지도 주목할 만한 연구 주제가 될 것이다.

GUD 모델의 등장은 생성형 AI 기술의 새로운 지평을 열었다고 볼 수 있다. 이 프레임워크는 기존 생성 모델들의 장점을 통합하고 더 나아가 새로운 가능성을 제시함으로써, 향후 AI 기술 발전에 중요한 이정표가 될 것으로 기대된다.

연구팀은 “GUD는 단순히 기존 모델들을 통합하는 데 그치지 않고, 생성 모델의 설계 공간을 크게 확장했다”며 “이를 통해 더 효율적인 학습과 데이터 생성이 가능해질 것”이라고 전망했다. 또한 “GUD 프레임워크는 다양한 생성 접근법과 생성 작업을 통합하는 새로운 아키텍처로 이어질 수 있을 것”이라고 덧붙였다.

GUD 모델의 등장으로 생성형 AI 기술은 한 단계 더 도약할 수 있는 발판을 마련했다. 앞으로 이 프레임워크를 기반으로 한 다양한 연구와 응용이 이어질 것으로 기대된다. 특히 컴퓨터 비전, 자연어 처리, 음성 합성 등 다양한 분야에서 GUD의 응용 가능성이 탐구될 것으로 보인다.

기사에 인용된 리포트 원문은 링크에서 확인할 수 있다.

기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다. 

관련 콘텐츠 더보기