논문에 AI 쓰면 손해? 득? 23만 편 분석해 봤더니… ‘활용 많은 동양 vs 인용 혜택 큰 서양’

챗GPT 출시 이후 전 세계 컴퓨터 과학 분야 연구자들이 AI 도구를 활용한 논문 작성에 적극적으 나서고 있다. 뉴욕대학교 아부다비 캠퍼스 연구진이 23만 편 이상의 스코퍼스 논문을 분석한 결과, 동양 연구자들의 AI 활용도가 서양보다 높았지만, 정작 인용 수 증가 효과는 서양 저자들이 더 크게 누리는 것으로 나타났다.

동양 저자들이 AI 도구 더 적극 활용, 그러나 인용 효과는 제한적

연구진이 2021년부터 2025년까지 발표된 컴퓨터 과학 논문 23만여 편을 분석한 결과, 챗GPT 출시 이후 동양 지역 저자들이 서양 저자들보다 AI 도구를 더 적극적으로 활용하는 것으로 확인됐다. 특히 아시아와 북미 지역에서 AI 활용도가 가장 크게 증가했다. 연구진은 바이노큘러스(Binoculars) AI 탐지 모델을 사용해 논문의 AI 유사성을 측정했으며, 챗GPT 출시 후 전체적으로 인간다운 글쓰기 특성이 통계적으로 유의미하게 감소했다고 밝혔다.

동양 저자들은 서양 저자들에 비해 글쓰기 스타일의 변화 폭이 더 컸으며, 이는 언어적 장벽을 극복하기 위한 적극적인 AI 활용으로 해석된다. 흥미롭게도 동서양 모두에서 AI 탐지 확률이 챗GPT 이후 동일한 수준으로 증가한 것으로 나타나, 실제 AI 활용 패턴의 지역적 차이가 탐지 결과에서도 확인됐다.

GPT-4o 미니가 학술 글쓰기 스타일 변화의 결정적 전환점

각 GPT 모델 출시가 학술 글쓰기에 미친 영향을 분석한 결과, GPT-4o 미니 버전이 가장 뚜렷한 변화를 이끌어낸 것으로 나타났다. GPT-3.5는 통계적으로 유의미한 영향을 보이지 않았으나, GPT-4는 오히려 약간의 인간다운 글쓰기 증가를 보였다. 반면 GPT-4o와 GPT-4o 미니는 인간다운 특성의 유의미한 감소를 나타냈으며, 특히 GPT-4o 미니는 다른 버전들과 통계적으로 명확히 구별되는 수준의 변화를 일으켜 학술 글쓰기에서 AI 유사성 증가의 명확한 분기점 역할을 했다.

이진 분류 모델에서도 GPT-4o 미니 이후 논문들이 AI 생성 텍스트로 분류될 확률이 가장 크게 증가했으며, 이는 해당 모델이 학술 글쓰기 패턴에 미친 독특한 영향력을 보여준다. 연구진은 신뢰구간 분석을 통해 GPT-4와 GPT-4o 간에는 일부 중복이 있지만, GPT-4o 미니는 명백히 구별되는 영향을 미쳤다고 강조했다.

서양 저자들이 AI 활용으로 더 큰 인용 혜택 획득

연구 결과 가장 주목할 만한 발견은 AI 활용의 인용 효과가 지역별로 다르게 나타난다는 점이다. 전체적으로 인간다운 글쓰기는 인용 수 감소와 강한 연관성을 보였으며, 이는 AI 보조 글쓰기가 학술적 가시성 향상에 도움이 된다는 의미다. 서양 저자들은 전반적으로 더 많은 인용을 받지만, 챗GPT 이전에는 인간다운 글쓰기에 대한 인용 페널티가 동양 저자들보다 현저히 컸다. 그러나 챗GPT 출시 후 동양 저자들도 인간다운 글쓰기에 대한 페널티가 강화됐고, 서양 저자들의 페널티는 다소 완화되는 경향을 보였다.

결과적으로 동양 저자들이 AI 도구를 더 많이 사용했음에도 불구하고, 서양 저자들이 기존 편견 구조로 인해 AI 활용으로부터 더 큰 혜택을 얻고 있다. 특히 교차 지역 인용에서는 인간다운 글쓰기에 대한 페널티가 전체 인용보다 더 강하게 나타나, AI 적응형 글쓰기가 국제적 가시성 확보를 위한 필수 조건으로 자리 잡고 있음을 시사한다.

권위 있는 저널들은 여전히 ‘인간다운 글쓰기’ 선호

저널 게재와 관련해서는 여전히 전통적인 선호가 유지되고 있다. 순서형 로지스틱 회귀 분석 결과, 더 인간다운 글쓰기를 한 논문일수록 상위 저널에 게재될 확률이 높았다. 이는 편집진들이 AI 보조 글쓰기에 대해 여전히 보수적 태도를 유지하고 있으며, AI 유사성을 지적 엄밀성이나 진정성 부족의 신호로 인식할 가능성을 시사한다. SJR 분위수별 분석에서도 이러한 경향이 일관되게 나타났으며, 특히 최상위 저널일수록 인간다운 글쓰기에 대한 선호가 더욱 강했다.

연구진은 이러한 현상이 연구자들을 딜레마에 빠뜨린다고 지적했다. 가시성 향상을 위해서는 AI 도구 사용이 유리하지만, 권위 있는 저널 게재를 위해서는 전통적인 글쓰기 스타일을 유지해야 하는 상황이 벌어지고 있다. 이는 학술계에서 AI 활용에 대한 투명한 가이드라인과 윤리적 기준 마련이 시급함을 보여준다.

FAQ (※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q: AI 도구를 사용한 논문이 더 많이 인용되는 이유는 무엇인가요?

A: AI 도구가 문법적 완성도와 언어적 일관성을 높여주기 때문입니다. 특히 영어가 모국어가 아닌 연구자들에게는 언어적 장벽을 극복하는 데 도움이 되어 논문의 가독성과 전달력이 향상됩니다.

Q: 왜 동양 저자들이 AI를 더 많이 사용하는데 서양 저자들이 더 큰 혜택을 받나요?

A: 기존 학술계의 편견 구조 때문입니다. 서양 저자들은 원래 인간다운 글쓰기에 대한 인용 페널티가 더 컸기 때문에, AI 도구로 글쓰기를 개선했을 때 상대적으로 더 큰 개선 효과를 얻게 됩니다.

Q: 앞으로 AI 활용 논문 작성이 학술계에 어떤 변화를 불러올까요?

A: 단기적으로는 지역 간 언어적 격차가 줄어들 수 있지만, 근본적인 구조적 불평등은 지속될 가능성이 높습니다. 저널 편집진의 AI에 대한 태도 변화와 투명한 가이드라인 제시가 중요한 과제가 될 것입니다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문 명: Who Gets Seen in the Age of AI? Adoption Patterns of Large Language Models in Scholarly Writing and Citation Outcomes

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.