Re-Reading Improves Reasoning in Large Language Models
인공지능(AI) 기술의 발전으로 대형 언어 모델(Large Language Models, LLMs)이 주목받고 있지만, 복잡한 추론 능력에는 여전히 한계가 있었다. 최근 마이크로소프트와 정보기술연구소(Institute of Information Engineering)의 연구진들이 간단하면서도 효과적인 ‘다시 읽기(Re-Reading)’ 방법을 통해 LLMs의 추론 능력을 크게 향상시킬 수 있음을 밝혀냈다. 이는 인간의 독서 전략을 AI에 적용한 흥미로운 사례로, LLMs의 실용성을 한층 높일 것으로 기대된다.
‘다시 읽기’로 AI의 이해력 높인다
연구진이 개발한 ‘RE2(Re-Reading)’ 기법은 LLMs에게 주어진 질문을 두 번 읽도록 하는 단순한 방식이다. 이는 인간이 복잡한 문제를 해결할 때 다시 읽기를 통해 이해도를 높이는 것과 유사한 원리다. RE2 기법을 적용하면 LLMs는 질문의 핵심을 더 정확히 파악하고, 관련 정보를 효과적으로 처리할 수 있게 된다.
특히 RE2는 기존의 ‘사고 연쇄(Chain-of-Thought, CoT)’ 프롬프팅과 달리 입력 단계에 초점을 맞춘다. 이를 통해 LLMs는 질문을 더 깊이 이해하고, 추론 과정에서 중요한 정보를 놓치지 않게 된다. 연구진은 “RE2가 단방향 디코더 전용 LLMs에서도 ‘양방향’ 이해를 가능케 한다”고 설명했다.
다양한 추론 과제에서 성능 향상 확인
연구팀은 GSM8K, SVAMP, ASDiv 등 7개의 수학 추론 벤치마크와 CSQA, StrategyQA, ARC 등 3개의 상식 추론 벤치마크, 그리고 2개의 기호 추론 벤치마크에서 RE2의 효과를 검증했다. 실험 결과, RE2를 적용한 LLMs는 대부분의 과제에서 일관된 성능 향상을 보였다.
예를 들어, davinci-003 모델에 RE2를 적용했을 때 수학 추론 과제에서 평균 3.81점, 상식 추론 과제에서 2.51점, 기호 추론 과제에서 1.85점의 성능 향상이 있었다. ChatGPT의 경우에도 대부분의 데이터셋에서 RE2 적용 시 성능이 개선되었다.
RE2의 확장성과 호환성
RE2의 주목할 만한 특징은 다양한 LLMs와 추론 기법에 쉽게 적용할 수 있다는 점이다. 연구진은 RE2를 CoT뿐만 아니라 Plan-and-Solve(PS), Program-Aided Language models(PAL) 등 다른 사고 유도 프롬프팅 방식과 결합해 실험을 진행했다. 그 결과 RE2는 이러한 기법들과 호환되며, 추가적인 성능 향상을 이끌어낼 수 있음을 확인했다.
또한 RE2는 제로샷(zero-shot) 설정뿐만 아니라 퓨샷(few-shot) 설정에서도 효과적이었으며, 자기 일관성(self-consistency) 방법과도 잘 결합되었다. 이는 RE2가 다양한 상황에서 유연하게 적용될 수 있음을 보여준다.
인공지능 추론의 미래
이번 연구 결과는 LLMs의 추론 능력 향상을 위해 입력 단계에서의 이해도를 높이는 것이 중요하다는 점을 시사한다. RE2와 같은 간단한 기법이 AI의 추론 능력을 크게 개선할 수 있다는 사실은, 향후 AI 연구 방향에 중요한 통찰을 제공한다.
연구진은 “향후 RE2의 적용 범위를 다중 턴 대화나 다중 모달 추론 등으로 확장하는 연구를 진행할 계획”이라고 밝혔다. 이는 AI의 추론 능력이 더욱 발전하여 보다 복잡하고 실용적인 문제 해결에 활용될 수 있음을 시사한다.
RE2 기법의 등장으로 LLMs의 추론 능력이 한 단계 도약할 것으로 기대된다. 이는 AI 기술이 인간의 인지 과정을 모방하고 개선하는 방향으로 발전하고 있음을 보여주는 좋은 사례다. 앞으로 AI의 추론 능력이 어떻게 발전하고 실생활에 적용될지 주목된다.
기사에 인용된 논문은 링크에서 확인할 수 있다.
본 기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다.
관련 콘텐츠 더보기
