“AI 추론 모델, 2026년부터 성능 향상 둔화된다”

제미나이(Gemini), GPT 등 최신 인공지능 모델이 보여준 급속한 성능 향상이 머지않아 한계에 부딪힐 수 있다는 분석이 제시됐다. 현재의 추세라면 내년쯤에는 이른바 ‘추론형 모델’의 발전 속도가 현저히 둔화될 가능성이 높다는 전망이다. 테크크런치가 12일(현지 시간) 보도한 내용에 따르면, 비영리 AI 연구소인 에포크AI(Epoch AI)가 최근 발표한 분석 보고서에 따르면, AI 업계가 추론형 AI 모델에서 현재와 같은 대규모 성능 향상을 지속하기 어려운 시점이 곧 도래할 것으로 예측됐다. 보고서는 빠르면 1년 내에 추론 모델의 성능 향상 속도가 크게 둔화될 수 있다고 전망했다.

오픈AI(OpenAI)의 o3와 같은 추론형 모델은 최근 몇 달간 AI 벤치마크 테스트, 특히 수학과 프로그래밍 능력을 측정하는 벤치마크에서 상당한 성능 향상을 이끌어냈다. 이러한 모델들은 문제 해결에 더 많은 컴퓨팅 자원을 투입할 수 있어 성능이 향상되지만, 기존 모델보다 작업 완료 시간이 더 오래 걸린다는 단점이 있다.

추론형 모델은 일반적으로 방대한 양의 데이터로 기본 모델을 훈련시킨 후, ‘강화학습(reinforcement learning)’ 기법을 적용하는 방식으로 개발된다. 강화학습은 모델이 어려운 문제에 대한 해결책을 제시할 때 일종의 ‘피드백’을 제공하는 기술이다. 지금까지 오픈AI와 같은 선도적인 AI 연구소들은 추론형 모델 훈련의 강화학습 단계에 엄청난 컴퓨팅 파워를 투입하지 않았다고 에포크AI는 분석했다. 그러나 이러한 상황은 변화하고 있다. 오픈AI는 o3를 훈련시키는 데 이전 모델인 o1보다 약 10배 더 많은 컴퓨팅 자원을 투입했다고 밝혔으며, 에포크AI는 이 컴퓨팅 자원의 대부분이 강화학습에 할당되었을 것으로 추정했다.

또한 오픈AI의 연구원 댄 로버츠(Dan Roberts)는 최근 회사의 향후 계획이 강화학습에 더 많은 컴퓨팅 파워를 우선적으로 사용하는 것이며, 이는 초기 모델 훈련보다 더 많은 자원이 필요할 것이라고 밝혔다. 그러나 에포크AI의 분석에 따르면, 강화학습에 적용할 수 있는 컴퓨팅 파워에는 여전히 상한선이 존재한다.

에포크AI의 분석가이자 이번 보고서의 저자인 조시 유(Josh You)는 “표준 AI 모델 훈련의 성능 향상은 현재 매년 4배씩 증가하고 있는 반면, 강화학습의 성능 향상은 3-5개월마다 10배씩 성장하고 있다”며 “추론 훈련의 발전 속도는 2026년까지 전체 발전 속도와 비슷한 수준으로 수렴할 것”이라고 전망했다. 에포크AI의 분석은 여러 가정을 기반으로 하며, 부분적으로는 AI 기업 경영진들의 공개 발언에 근거하고 있다. 그러나 이 보고서는 컴퓨팅 능력 외에도 연구 개발에 따른 높은 간접비용 등의 이유로 추론형 모델의 확장이 어려울 수 있다고 주장한다. “연구에 지속적인 간접비용이 필요하다면, 추론형 모델은 예상만큼 확장되지 않을 수 있다”며 “급속한 컴퓨팅 확장은 추론형 모델 발전에 매우 중요한 요소이므로, 이를 면밀히 추적할 가치가 있다.”고 유는 설명했다

추론형 모델이 가까운 미래에 어떤 한계에 도달할 수 있다는 징후는 이러한 유형의 모델 개발에 막대한 자원을 투자한 AI 업계에 우려를 불러일으킬 가능성이 높다. 이미 연구들은 운영 비용이 엄청나게 높을 수 있는 추론형 모델이 특정 기존 모델보다 환각(hallucination) 현상이 더 심각하게 나타나는 등의 심각한 결함을 보인다는 것을 보여주고 있다.

해당 기사의 원문은 링크에서 확인할 수 있다.

이미지 출처: 이디오그램 생성

기사는 클로드와 챗gpt를 활용해 작성되었습니다.