“AI야 좋은 평가만 해줘”… AI만 읽을 수 있는 비밀 명령문 적힌 논문 17개 발견 논란

닛케이 아시아는 일본, 한국, 중국 등 8개국 14개 학술기관의 연구논문에서 인공지능(AI)이 긍정적인 리뷰만 작성하도록 지시하는 숨겨진 메시지를 발견했다고 1일(현지 시간) 보도했다. 닛케이에 따르면, 학술 연구 플랫폼 아카이브(arXiv)에 게재된 사전 인쇄본(preprint) 논문들을 조사한 결과, 아직 공식적인 동료 평가를 거치지 않은 영어 논문들에 이런 지시문이 포함되어 있었다. 해당 논문들의 공간을 강조 표시하면 AI 프롬프트가 드러나는 방식이었다.

이번 발견은 학술계에서 AI 사용에 대한 윤리적 논란을 다시 한번 부각시키고 있다. 연구자들이 AI를 활용해 논문을 작성하면서 동시에 해당 AI가 자신들의 연구에 대해 호의적인 평가를 내리도록 조작하려 했다는 의혹이 제기되는 상황이다. 사전 인쇄본은 정식 학술지 게재 전 연구 결과를 미리 공개하는 방식으로, 동료 연구자들의 검토와 피드백을 받기 위해 활용된다. 하지만 이 과정에서 AI 도구를 통해 인위적으로 긍정적인 평가를 유도하려는 시도가 발견된 것이다.

이러한 관행은 학술 연구의 공정성과 신뢰성을 훼손할 수 있다는 우려를 낳고 있다. 특히 동료 평가(peer review) 시스템의 근간을 흔들 수 있는 문제로 지적되고 있다. 동료 평가는 학술 논문의 질을 보장하고 연구의 타당성을 검증하는 핵심 과정이기 때문이다. AI 기술이 학술 연구 분야에 광범위하게 도입되면서 이와 관련된 윤리적 가이드라인의 필요성도 커지고 있다. 많은 학술지와 연구 기관들이 AI 사용에 대한 명확한 기준을 마련하려고 노력하고 있지만, 이번 사례처럼 AI를 악용하려는 시도들이 계속 발견되고 있다.

연구진들이 논문에 숨겨진 프롬프트를 삽입한 방법과 구체적인 내용, 그리고 이것이 실제 평가에 미친 영향에 대한 추가 조사가 필요한 상황이다. 학술계는 AI 시대에 맞는 새로운 윤리 기준과 검증 시스템 구축을 서둘러야 할 것으로 보인다.

해당 기사의 원문은 닛케이 아시아에서 확인 가능하다.

이미지 출처: 니혼게이자이신문 홈페이지 동영상 캡쳐