AI가 ‘같은 말 무한반복’하는 병…리퀴드 AI, 해결 기법 ‘안티둠’ 오픈소스 공개

작은 AI 추론 모델이 같은 문장을 끝없이 반복하다 멈추지 못하는 ‘둠 루프(doom loop)’ 문제를 겨냥한 해결책이 나왔다. 리퀴드 AI(Liquid AI)가 7월 7일 이를 고치는 학습 기법 ‘안티둠(Antidoom)’을 오픈소스로 공개했다.

둠 루프는 모델이 한 구간을 내놓은 뒤 그 구간을 계속 되풀이하는 현상이다. 출력이 멈추지 않고 이어져 문맥 창을 다 써 버릴 때까지 반복된다. 크기가 작은 추론 모델일수록, 그리고 어려운 문제로 긴 사고 과정을 거칠수록 이 현상에 더 취약하다.

안티둠은 ‘최종 토큰 선호 최적화(FTPO)’라는 방식을 쓴다. 반복이 시작되는 첫 토큰을 찾아, 그 자리에서 다른 자연스러운 토큰을 고르도록 모델을 미세 조정한다. 모델을 처음부터 다시 학습시키거나 강화학습을 쓰지 않고, 새 지식을 가르치지도 않는다. 전체 출력 분포를 흔들지 않으면서 반복이 시작되는 지점만 바로잡는 방식이다.

효과는 수치로 나타났다. 리퀴드 AI 자체 모델 LFM2.5-2.6B에서는 어려운 수학·프로그래밍 과제의 반복 발생률이 10.2%에서 1.4%로 떨어졌다. 큐원3.5-4B에서는 22.9%에서 1%로 낮아졌다. 전 과정은 몇 시간이면 끝나고, 코드와 데이터셋도 함께 공개됐다. 올해 AI의 큰 흐름이 더 큰 모델이 아니라 이런 실패 유형을 하나씩 없애는 쪽에 있다는 평가가 나온다.

자세한 내용은 MarkTechPost에서 확인할 수 있다.

이미지 출처: 이디오그램 생성