인공지능(AI) 기술이 급속도로 발전하면서 대규모 언어 모델(LLM)의 정확성과 신뢰성이 중요한 이슈로 떠올랐다. 최근 코넬대학교, 워싱턴대학교, 앨런 인공지능 연구소 등의 연구진이 LLM의 사실성을 평가하기 위한 새로운 벤치마크 ‘와일드할루시네이션스(WILDHALLUCINATIONS)’를 개발했다.
이 벤치마크는 LLM이 때때로 생성하는 사실과 다른 정보, 즉 ‘환각’ 현상을 측정하고 평가하는 도구다. 기존의 평가 방식들이 주로 위키피디아 같은 정형화된 데이터에 의존했던 것과 달리, 이 새로운 방식은 실제 사용자-AI 대화에서 추출한 다양한 주제의 개체들을 활용한다는 점에서 차별화된다.
연구팀은 ‘와일드챗(WildChat)’ 데이터셋에서 7,919개의 개체를 추출하고, 이에 대해 15개의 주요 LLM 모델들이 생성한 118,785개의 설명을 평가했다. 주목할 만한 점은 이 개체들 중 52%가 위키피디아 페이지가 없는 항목들이라는 것이다. 이는 실제 AI 사용 환경에서 마주치는 다양한 질문들을 더 잘 반영한다.
와일드할루시네이션스의 평가 과정은 여러 단계로 구성된다. 먼저, 실제 사용자와 AI 사이의 대화 데이터에서 다양한 개체(엔티티)들을 추출한다. 이는 AI가 실제 상황에서 마주하는 질문들을 반영하기 위함이다. 다음으로, 이렇게 추출된 개체들에 대해 각 대규모 언어 모델(LLM)에게 설명을 요청한다. LLM이 생성한 설명은 웹 검색을 통해 수집한 정보와 비교된다. 이 과정에서 LLM의 응답이 얼마나 사실에 부합하는지를 판단한다. 마지막으로, 자동화된 사실 확인 시스템을 활용하여 LLM 응답의 정확성을 평가한다. 이 시스템은 LLM의 설명을 여러 작은 사실 조각으로 나누고, 각 조각이 수집된 정보와 일치하는지를 확인한다. 이러한 종합적인 과정을 통해 LLM의 ‘환각’ 정도를 정량화하고 평가할 수 있다.
연구진은 실험 과정을 통해 아래와 같은 결과를 얻어냈다.
- 위키피디아 페이지가 없는 개체에 대해 LLM들은 일관되게 더 많은 ‘환각’을 보였다. 이는 LLM의 학습 데이터와 실제 세계의 정보 사이의 격차를 보여준다.
- 주제 영역에 따라 LLM의 정확도가 달랐다. 지리와 컴퓨팅 관련 주제에서는 상대적으로 높은 정확도를 보인 반면, 인물과 금융 분야에서는 더 많은 오류를 범했다.
- GPT-4와 GPT-3.5 모델이 가장 높은 사실성을 보였으나, 여전히 완벽하지는 않았다. 이는 현재 최고 수준의 AI 모델조차 ‘환각’ 문제에서 자유롭지 않다는 것을 의미한다.
- 웹 검색 기능이 추가된 모델들(예: Command R, Sonar)이 기본 모델들보다 오히려 낮은 성능을 보이는 경우가 있었다. 이는 검색된 정보를 적절히 통합하고 활용하는 것이 단순히 정보에 접근하는 것보다 더 복잡한 과제임을 시사한다.
- 모든 평가 대상 모델에서 희귀한 개체일수록 ‘환각’ 발생률이 높아지는 경향이 관찰됐다. 이는 LLM이 잘 알려지지 않은 주제에 대해 추론할 때 더 취약하다는 것을 보여준다.
이 연구 결과는 AI 개발과 활용에 있어 중요한 시사점을 제공한다. 우선, LLM 개발자들에게는 모델의 약점을 파악하고 개선할 수 있는 구체적인 방향을 제시한다. 특히 희귀 정보 처리와 다양한 도메인에 대한 균형 잡힌 성능 향상의 필요성을 강조한다.
또한, AI 사용자들에게는 현재 AI 기술의 한계를 인식하고 비판적 사고의 중요성을 상기시킨다. AI가 제공하는 정보를 맹목적으로 신뢰하기보다는, 필요에 따라 추가 검증을 하는 것이 중요하다는 점을 강조한다.
더 나아가, 이 연구는 AI 윤리와 책임 있는 AI 개발에 대한 논의도 촉발한다. AI의 ‘환각’이 잘못된 정보 확산이나 의사결정 오류로 이어질 수 있다는 점에서, 이는 단순한 기술적 문제를 넘어선 사회적 이슈다. 따라서 AI 모델의 정확성과 신뢰성을 지속적으로 모니터링하고 개선하는 것은 AI 기술의 건전한 발전을 위해 필수적이다.
연구팀은 이 벤치마크를 오픈소스로 공개했다. 이를 통해 더 많은 연구자와 개발자들이 LLM의 사실성 평가에 참여하고, 궁극적으로 더 신뢰할 수 있는 AI 시스템 개발에 기여할 수 있기를 기대한다고 밝혔다.
와일드할루시네이션에 대한 논문은 링크에서 확인할 수 있다.
본 기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다.
관련 콘텐츠 더보기
