튀빙겐 대학교(University of Tübingen)와 노스웨스턴 대학교(Northwestern University) 연구진이 2010년부터 2024년까지 발표된 1,510만 편의 생명의학 논문을 분석한 결과, 2024년 논문의 최소 13.5%가 챗GPT(ChatGPT)와 같은 대규모 언어모델(LLM)의 도움을 받아 작성된 것으로 밝혀졌다. 이는 연간 약 20만 편의 논문이 AI의 도움으로 쓰여진다는 의미다.
연구진은 “과잉 어휘 분석(excess vocabulary analysis)”이라는 혁신적인 방법을 사용했다. 2022년 11월 챗GPT가 출시된 이후 과학 논문에서 특정 단어들의 사용 빈도가 급격히 증가한 현상을 추적한 것이다. “delves(탐구하다)”, “showcasing(보여주다)”, “underscores(강조하다)” 같은 화려한 문체의 단어들이 2024년에 갑자기 폭증했다.
코로나19보다 더 큰 변화를 일으킨 AI 혁명
연구 결과는 AI가 과학 글쓰기에 미친 영향이 전례 없는 수준임을 보여준다. 코로나19 팬데믹 시기에도 “coronavirus”, “covid”, “pandemic” 같은 단어들이 급증했지만, AI의 영향은 이를 훨씬 뛰어넘었다. 2021년 코로나 관련 논문의 비중이 6.9%였던 반면, 2024년 AI 도움을 받은 논문은 최소 13.5%에 달했다.
특히 주목할 점은 단어 변화의 성격이다. 코로나19 때는 “remdesivir(렘데시비르)”, “respiratory(호흡기)” 같은 내용 관련 명사들이 증가했지만, AI 시대에는 “comprehensive(포괄적인)”, “crucial(중요한)”, “enhancing(향상시키는)” 같은 문체를 꾸미는 동사와 형용사들이 폭증했다. 연구진이 발견한 379개의 과잉 사용 단어 중 66%가 동사, 14%가 형용사였다.
국가별·학술지별로 극명한 차이
AI 사용률은 국가와 학술지에 따라 극명한 차이를 보였다. 중국, 한국, 대만의 논문에서는 AI 사용률이 약 20%에 달한 반면, 영국과 호주는 5% 수준에 그쳤다. 컴퓨터과학과 생물정보학 분야는 20%로 가장 높았고, 센서스(Sensors) 학술지는 25%, 큐레우스(Cureus)는 20%의 AI 사용률을 기록했다.
반면 네이처(Nature), 사이언스(Science), 셀(Cell) 같은 최고 권위지들의 AI 사용률은 7% 수준으로 상대적으로 낮았다. 연구진은 “쉽게 탐지되는 AI 사용이 학술지의 명성과 반비례 관계에 있다”고 분석했다.
일부 세부 분야에서는 AI 사용률이 더욱 극적이었다. 한국에서 센서스 학술지에 발표된 논문의 34%, 중국의 컴퓨터과학 논문의 41%가 AI 도움을 받았다. 심지어 딥러닝 기반 객체 탐지 관련 논문들 중에는 AI 사용률이 50%에 달하는 집단도 발견됐다.
AI가 만든 과학 글쓰기의 새로운 문제들
연구진은 실제 2023년 논문에서 발견된 AI 특유의 화려한 문체 사례들을 제시했다. “By meticulously delving into the intricate web(복잡한 웹을 세심하게 탐구함으로써)”나 “the enzymatic labyrinth governing(지배하는 효소의 미로)” 같은 과도하게 장식적인 표현들이 대표적이다.
이러한 변화는 단순한 문체 개선을 넘어 심각한 문제를 야기할 수 있다. AI는 거짓 정보를 생성하고, 기존 편견을 강화하며, 표절을 할 수 있다. 특히 같은 주제의 논문들이 모두 비슷한 서론과 참고문헌을 갖게 되어 혁신을 저해하고 인용 불공정을 악화시킬 위험이 있다.
연구진은 “진실한 LLM 사용률은 우리가 측정한 것보다 훨씬 높을 가능성이 있다”며 “AI 마커 단어를 사용하지 않은 논문들은 우리 추정치에 포함되지 않았기 때문”이라고 설명했다. 이는 실제 AI 사용률이 30% 이상일 수도 있음을 시사한다.
FAQ
Q: 과학자들이 AI를 이용해 논문을 쓰는 것이 문제가 되나요?
A: AI는 문법 개선과 영어 번역에 도움이 되지만, 거짓 정보 생성과 표절 위험이 있습니다. 특히 모든 논문이 비슷해져서 과학적 혁신을 저해할 수 있어 적절한 규제와 투명한 사용이 필요합니다.
Q: 어떤 단어들이 AI 사용을 나타내는 지표인가요?
A: “delves”, “showcasing”, “underscores”, “comprehensive”, “crucial”, “enhancing” 등의 화려한 문체 단어들이 2024년 급증했습니다. 이런 단어들의 과도한 사용은 AI 도움을 받았을 가능성을 시사합니다.
Q: 앞으로 과학계는 AI 사용을 어떻게 관리해야 할까요?
A: 현재 많은 학술지와 연구비 기관들이 AI 사용 금지 정책을 발표했지만, 실제로는 광범위하게 사용되고 있습니다. 투명한 공개와 검증 가능한 사실 확인 시스템이 필요한 시점입니다.
기사에 인용된 리포트 원문은 Science Advances에서 확인할 수 있다.
출처: Delving into LLM-assisted writing in biomedical publications through excess vocabulary
이미지 출처: 미드저니 생성
