AI 챗봇, 철회된 과학논문 인용해 답변 제공… “철회 사실 전혀 언급 안 해”

생성형 AI 챗봇들이 철회된 과학논문을 바탕으로 답변을 생성해 사용자들에게 잘못된 정보를 제공하고 있다는 연구 결과가 나왔다. MIT 테크놀로지리뷰가 23일(현지 시각) 보도한 내용에 따르면, 테네시대학교 연구팀이 의료 영상 관련 철회된 논문 21편을 바탕으로 오픈AI의 챗GPT GPT-4o 모델에 질문한 결과, 5건에서 철회된 논문을 참조했지만 주의를 당부한 것은 3건에 불과했다. 다른 연구에서도 ChatGPT-4o 미니가 철회된 논문 217편을 평가하면서 철회 사실을 전혀 언급하지 않았다.

문제는 챗GPT에만 국한되지 않는다. MIT 테크놀로지 리뷰가 연구용 AI 도구인 엘리싯(Elicit), Ai2 스칼라QA(Ai2 ScholarQA), 퍼플렉시티(Perplexity), 컨센서스(Consensus)를 테스트한 결과, 모든 도구가 철회된 논문들을 참조하면서도 철회 사실을 언급하지 않았다. 이는 일반인들이 의학적 조언을 구하거나 학생과 과학자들이 문헌 검토에 AI를 활용하는 상황에서 심각한 문제가 될 수 있다.

일부 기업들은 문제 해결에 나서고 있다. 컨센서스는 리트랙션 워치(Retraction Watch) 등 다양한 소스의 철회 데이터를 활용하기 시작했고, 엘리싯은 학술 연구 카탈로그 오픈알렉스(OpenAlex)가 표시한 철회 논문을 데이터베이스에서 제거하고 있다.

하지만 출판사들이 철회 공지에 대한 통일된 접근법을 사용하지 않고, AI 모델 훈련 데이터가 최신이 아닐 수 있어 근본적인 해결은 쉽지 않을 것으로 보인다.

해당 기사의 원문은 MIT 테크놀로지 리뷰에서 확인 가능하다.

이미지 출처: 이디오그램 생성