AI 모델의 ‘붕괴’ 현상, 장기적 학습에 위협될 수 있어

인공지능(AI) 기술이 급속도로 발전하면서 생성형 AI 모델들이 쏟아져 나오고 있다. ChatGPT, DALL-E, Midjourney 등 다양한 생성형 AI가 주목받고 있지만, 이러한 모델들이 자신들이 생성한 데이터로 학습을 반복하면 심각한 ‘모델 붕괴(Model Collapse)’ 현상이 발생할 수 있다는 연구 결과가 발표됐다. 영국 옥스퍼드대와 케임브리지대 연구진이 주도한 이번 연구는 국제 학술지 네이처(Nature) 최신호에 게재됐다.

연구진은 ‘모델 붕괴’를 “학습된 생성 모델의 세대에 영향을 미치는 퇴행적 과정으로, 이들이 생성한 데이터가 다음 세대의 학습 세트를 오염시키는 현상”이라고 정의했다. 쉽게 말해, AI 모델이 자신이 만든 데이터로 학습을 거듭할수록 현실을 제대로 인식하지 못하게 되는 현상을 말한다.

이 과정은 크게 두 단계로 나눌 수 있다. 초기 모델 붕괴에서는 모델이 원래 분포의 ‘꼬리’ 부분, 즉 드물게 발생하는 사건들에 대한 정보를 잃기 시작한다. 후기 모델 붕괴에서는 모델이 원래의 분포와 거의 닮지 않은 분포로 수렴하며, 종종 분산이 크게 감소한다.

연구진은 이러한 현상이 세 가지 주요 오류원에 의해 발생한다고 설명했다:

1. 통계적 근사 오류: 유한한 샘플 수로 인해 발생하는 오류
2. 함수 표현력 오류: 제한된 함수 근사기의 표현력으로 인한 오류
3. 함수 근사 오류: 학습 절차의 한계로 인한 오류

이러한 오류들은 각각 독립적으로 작용할 수도 있지만, 대부분의 경우 복합적으로 작용하여 모델 붕괴를 가속화한다. 연구팀은 이 현상을 수학적으로 모델링하여 이론적 근거를 제시했다.

연구팀은 이론적 분석뿐만 아니라 실제 AI 모델들을 대상으로 실험을 진행했다. 가우시안 혼합 모델(GMM), 변분 오토인코더(VAE), 대규모 언어 모델(LLM) 등 다양한 유형의 AI 모델에서 모델 붕괴 현상을 관찰했다.

GMM과 VAE 실험에서는 모델이 생성한 데이터로 반복 학습을 진행할 때, 점차 원본 데이터 분포의 특성을 잃어가는 것을 확인했다. 특히 VAE 실험에서는 MNIST 데이터셋을 사용했는데, 세대를 거듭할수록 생성된 이미지의 다양성이 감소하고 품질이 저하되는 것을 시각적으로 확인할 수 있었다.

특히 주목할 만한 것은 대규모 언어 모델에서의 실험 결과다. 연구진은 메타(구 페이스북)에서 공개한 OPT-125m 모델을 사용해 실험을 진행했다. 이 모델을 위키텍스트2(wikitext2) 데이터셋으로 학습시킨 후, 학습된 모델이 생성한 텍스트로 다시 학습을 반복하는 방식으로 실험했다.

실험은 두 가지 설정으로 진행됐다. 첫 번째는 5개의 에포크(epoch) 동안 학습하되 원본 훈련 데이터를 전혀 보존하지 않는 경우였고, 두 번째는 10개의 에포크 동안 학습하면서 원본 데이터의 10%를 보존하는 경우였다.

실험 결과, 두 경우 모두 생성된 데이터로 학습을 거듭할수록 모델의 성능이 점차 저하되는 것을 확인했다. 특히 원본 데이터의 10%를 보존하며 학습을 진행한 경우에도 성능 저하가 관찰됐다. 이는 모델 붕괴 현상이 실제 대규모 언어 모델에서도 발생할 수 있음을 보여주는 증거다.

연구진은 또한 모델이 생성한 텍스트 출력 예시를 제시했는데, 세대가 거듭될수록 텍스트의 일관성과 의미가 점점 더 떨어지는 것을 확인할 수 있었다. 예를 들어, 9세대 모델은 입력된 문장과 거의 관련 없는 내용을 생성하거나, 무의미한 반복을 하는 경향을 보였다.

이번 연구 결과는 AI 기술의 장기적 발전 방향에 중요한 시사점을 제공한다. 연구진은 “LLM의 낮은 확률 사건을 모델링하는 능력을 보존하는 것이 예측의 공정성에 필수적”이라고 강조했다. 낮은 확률의 사건들은 종종 소외된 그룹과 관련이 있으며, 복잡한 시스템을 이해하는 데 중요하기 때문이다.

또한 연구진은 AI 모델 학습에 있어 ‘선점자 이익(first mover advantage)’이 존재할 수 있다고 지적했다. 장기간에 걸친 학습을 지속하기 위해서는 원본 데이터 소스에 대한 접근을 보존하고, LLM이 생성하지 않은 추가 데이터를 시간이 지나도 사용할 수 있도록 해야 한다는 것이다.

이는 인터넷에서 수집된 콘텐츠의 출처에 대한 질문을 제기한다. LLM이 생성한 콘텐츠를 대규모로 추적하는 것은 현실적으로 어려운 일이기 때문이다. 연구진은 이에 대한 해결책으로 LLM 생성 및 배포에 관련된 다양한 당사자들이 콘텐츠의 출처를 해결하는 데 필요한 정보를 공유하는 등의 커뮤니티 차원의 협력을 제안했다.

이러한 문제는 단순히 기술적인 차원을 넘어 윤리적, 사회적 함의도 지니고 있다. AI 모델이 현실을 제대로 인식하지 못하게 되면, 이는 AI 기반 의사결정 시스템의 신뢰성과 공정성에 심각한 영향을 미칠 수 있기 때문이다. 특히 소수자나 취약 계층과 관련된 낮은 확률의 사건들이 모델에서 사라지게 되면, 이는 사회적 불평등을 더욱 심화시킬 우려가 있다.

결론적으로 이번 연구는 AI 기술의 지속 가능한 발전을 위해서는 인간이 직접 생성한 데이터에 대한 접근이 계속해서 필요하다는 점을 강조하고 있다. AI가 생성한 콘텐츠가 인터넷을 점령해가는 상황에서, 인간과 AI의 상호작용에 대한 데이터는 더욱 가치 있는 자원이 될 것으로 전망된다.

이러한 연구 결과는 AI 기업들과 정책 입안자들에게 중요한 시사점을 제공한다. AI 모델의 장기적인 성능과 신뢰성을 유지하기 위해서는 다양하고 고품질의 인간 생성 데이터를 지속적으로 확보하고 보존하는 것이 중요하다. 또한, AI 생성 콘텐츠와 인간 생성 콘텐츠를 구분할 수 있는 기술적, 제도적 장치를 마련하는 것도 필요할 것이다.

향후 연구에서는 모델 붕괴 현상을 완화하거나 방지할 수 있는 방법에 대한 탐구가 이루어질 것으로 예상된다. 예를 들어, 원본 데이터의 특성을 보존하면서도 모델의 성능을 향상시킬 수 있는 새로운 학습 알고리즘이나, AI 생성 콘텐츠를 효과적으로 필터링할 수 있는 기술 등이 연구될 수 있을 것이다.

AI 기술이 우리 사회에 미치는 영향력이 갈수록 커지는 상황에서, 이번 연구는 AI의 한계와 위험성을 인식하고 이를 극복하기 위한 노력의 중요성을 일깨워주고 있다. AI와 인간의 공존을 위해서는 기술 발전뿐만 아니라 윤리적, 사회적 차원의 고민도 함께 이루어져야 할 것이다.

옥스포드 대학의 논문은 링크에서 확인할 수 있다.

본 기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다. 

관련 콘텐츠 더보기