챗GPT(ChatGPT) 생성 가짜 과학 논문, AI로 탐지한다

Detection of ChatGPT fake science with the xFakeSci learning algorithm

인공지능(AI) 기술의 발전으로 챗GPT(ChatGPT)와 같은 생성형 AI 도구가 현실화되면서 이를 악용한 가짜 과학 논문 생성에 대한 우려가 커지고 있다. 이에 연구진들이 AI 기술을 활용해 가짜 과학 논문을 탐지하는 새로운 알고리즘을 개발했다. 이 알고리즘은 실제 과학 논문과 AI가 생성한 가짜 논문을 높은 정확도로 구분해내는 데 성공했다.

xFakeSci 알고리즘, 가짜 논문 탐지에 80-94% 정확도 보여

미국 빙햄턴 뉴욕 주립대학교와 중국 허페이 과학기술대학 연구진이 개발한 ‘xFakeSci’ 알고리즘은 챗GPT로 생성된 가짜 과학 논문을 탐지하는 데 특화되어 있다. 이 알고리즘은 실제 과학자들이 작성한 논문과 AI가 생성한 논문을 구분하기 위해 네트워크 모델을 기반으로 학습된다.

연구진은 알츠하이머병, 암, 우울증 등 세 가지 질병에 대해 각각 3952개의 가짜 논문을 챗GPT로 생성했다. xFakeSci 알고리즘은 이 중 100개의 논문만으로 학습을 진행했고, 추가로 100개씩의 논문으로 보정 과정을 거쳤다. 분류 단계에서는 각 질병별로 300개의 논문을 사용했으며, 최종 라벨링 단계에서는 50개의 생성 논문과 50개의 실제 PubMed 초록을 혼합해 사용했다.

실험 결과, xFakeSci 알고리즘은 F1 점수 기준으로 80%에서 94%의 정확도를 보였다. 이는 기존의 일반적인 데이터 마이닝 알고리즘들이 38%에서 52% 사이의 정확도를 보인 것과 비교해 훨씬 뛰어난 성능이다. 연구진은 이러한 성능 향상이 보정 과정과 근접도 거리 휴리스틱의 도입 덕분이라고 설명했다.

생성형 AI의 특성, 가짜 논문 탐지의 열쇠

연구진은 챗GPT로 생성된 콘텐츠가 실제 과학 논문과는 구별되는 특성을 보일 것이라는 가설에서 출발했다. 이를 검증하기 위해 두 단계의 실험을 진행했다.

첫 번째 단계에서는 챗GPT로 생성된 텍스트와 실제 논문에서 추출한 네트워크 모델의 구조적 특성을 비교 분석했다. 그 결과, 챗GPT 모델은 실제 논문 모델에 비해 노드 수는 적지만 엣지 수는 더 많은 것으로 나타났다.

두 번째 단계에서는 문서 내 단어 수 대비 기여 바이그램(bigram)의 비율을 분석했다. 챗GPT로 생성된 데이터셋은 실제 과학 논문에 비해 일관되게 높은 비율을 보였다. 예를 들어, 알츠하이머병 데이터셋에서 챗GPT 생성 문서의 비율은 0.27-0.30인 반면, 2010-2014년 발표된 실제 논문의 비율은 0.16-0.17에 그쳤다.

이러한 차이는 챗GPT와 실제 과학자들의 글쓰기 방식 차이에서 비롯된 것으로 보인다. 챗GPT는 대규모 언어 모델을 사용해 통계적으로 다음에 올 가능성이 높은 단어를 예측하는 방식으로 글을 생성한다. 반면 과학자들은 가설 검증, 실험, 관찰 결과 등을 정확히 기술하는 데 중점을 둔다.

연구진은 “과학자들의 목표는 높은 상관관계를 가진 단어들로 과학을 설명하는 것이 아니”라며 “이러한 목표의 차이가 실제 과학 논문의 연결성을 낮추는 요인이 된다”고 설명했다.

생성형 AI 시대, 과학 논문의 진실성 확보 방안 필요

이번 연구는 챗GPT 등 생성형 AI 도구의 등장으로 가짜 과학 논문 생성이 용이해진 상황에서 이를 탐지할 수 있는 기술적 방안을 제시했다는 점에서 의의가 있다. 그러나 연구진은 기술적 해결책만으로는 한계가 있다고 지적한다.

연구를 주도한 아메드 압딘 하메드(Ahmed Abdeen Hamed) 교수는 “생성형 AI 도구를 책임감 있게 사용하고 그 사용을 규제하는 윤리적 의무가 있다”고 강조했다. 또한 “출판사와 과학 생산에 관여하는 이들이 좋은 과학을 장려하는 데 적극적인 역할을 해야 한다”며 “가짜 연구와 조작된 결과를 구별하는 고급 탐지 알고리즘 구현의 중요성을 인식하고 이를 활용하는 기술을 활성화해야 한다”고 주장했다.

한편 연구진은 챗GPT와 같은 생성형 AI 도구가 악용될 가능성에도 불구하고 긍정적인 용도로 활용될 수 있다고 보고 있다. 예를 들어, 다양한 프로그래밍 언어로 기본적인 작업을 위한 코드 스니펫을 생성하거나, 반구조화된 콘텐츠를 JSON, XML 등 널리 사용되는 형식으로 변환하는 데 효과적으로 활용할 수 있다. 또한 학계와 교사들을 위한 유용한 교육 보조 도구로 활용될 수 있으며, 영어가 모국어가 아닌 연구자들의 과학 논문 작성을 문법, 타이포그래피, 문장 바꿔 쓰기 등의 측면에서 지원할 수 있다.

결론적으로 연구진은 “챗GPT는 매우 정교하고 다양한 능력을 가진 도구”라면서도 “만약 젊은 세대가 챗GPT를 표절에 이용한다면 연구와 학습의 진실성을 훼손하고 미래 개척자들의 발전에 부정적인 영향을 미칠 수 있다”고 경고했다. 이에 대한 대책으로 연구진은 xFakeSci와 같은 학습 알고리즘이 가짜 과학을 식별하는 데 도움이 될 수 있지만, 생성형 AI 도구를 책임감 있게 사용하고 그 사용을 규제하는 것이 더욱 중요하다고 강조했다.

빙헴턴대학의 논문은 링크에서 확인할 수 있다.

본 기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다.