AI가 써 준 논문 서론, 써도 될까? 모델별 실력 봤더니, 1등은 ‘라마4’

챗GPT 같은 AI가 대학 논문의 첫 부분을 대신 써주는 시대가 왔다. 미국 일리노이대학교와 어도비에서 실시한 연구에 따르면, GPT-4o나 라마4 같은 최신 AI들이 연구자들의 논문 작성을 상당히 도와줄 수 있는 것으로 밝혀졌다. 연구팀은 AI가 얼마나 잘 논문의 서론을 쓸 수 있는지 알아보기 위해 특별한 실험을 했다. 논문 제목과 요약, 그리고 관련된 다른 논문들 정보를 AI에게 주고 서론을 써달라고 한 것이다.

이를 위해 2025년 주요 학술대회에서 발표된 총 3,900편의 컴퓨터과학 논문을 모았다. 이 논문들은 평균적으로 13~15개의 다른 논문을 인용하고 있어서, AI가 학술적인 맥락을 얼마나 잘 이해하는지 종합적으로 살펴볼 수 있었다.

라마4가 1등, 예시 3개 보여주니 더 잘해

딥시크, 젬마, 라마4, 미스트랄, GPT-4o 등 5개의 최신 AI 모델을 비교 실험한 결과, 라마4가 전반적으로 가장 좋은 성과를 보였다. 특히 의미를 얼마나 비슷하게 표현하는지, 그리고 사실을 얼마나 정확하게 반영하는지 측면에서 뛰어났다.

또 흥미로운 점은 AI에게 예시를 3개 보여준 후 써달라고 하면, 예시를 적게 보여주거나 아예 안 보여줬을 때보다 훨씬 더 좋은 글을 썼다는 것이다. 실험 결과를 보면 라마4는 원래 논문과 비슷한 단어를 사용하고 의미도 비슷하게 전달하는 능력이 다른 AI들보다 뛰어났다.

Lets Use ChatGPT To Write Our Paper Benchmarking LLMs To Write the Introduction of a Research Paper

인용과 정확성에서는 아직 문제 있어

하지만 현재 AI들은 여전히 중요한 한계를 보였다. 실제 사람이 평가해 본 결과, AI가 쓴 서론은 글의 일관성이나 내용을 포괄하는 면에서는 괜찮았지만, 다른 논문을 인용할 때 맥락에 맞게 사용하는 것이나 연구의 핵심 기여를 요약하는 부분에서는 부족했다. 예를 들어 젬마 AI는 관련 논문들을 많이 찾아내는 능력은 뛰어났지만, 정작 필요 없는 인용까지 포함시키는 경향이 있었다.

사람이 직접 평가한 결과에서도 라마4의 3개 예시 방식이 내용 포괄성과 글의 흐름에서는 가장 좋은 점수를 받았지만, 잘못된 정보를 만들어내지 않는 능력이나 기술적 세부사항의 정확성에서는 여전히 개선이 필요했다.

연구 도우미로는 좋지만 완전 대체는 아직

연구팀은 “AI들이 명확한 지시와 논문 제목, 요약, 관련 연구 목록을 받으면 학술 논문 규칙에 맞는 일관되고 잘 짜인 서론을 만들 수 있다”고 평가했다. 하지만 동시에 “AI가 쓴 서론을 그대로 쓰기에는 한계가 있다”며, 인용된 논문의 세세한 기술 내용 반영, 정확한 인용 사용, 논문의 핵심 기여 설명 등에서 상당한 수정과 전문가 검토가 필요하다고 지적했다. 이는 현재 AI들이 학술 글쓰기에서 유용한 도우미 역할은 할 수 있지만, 아직 사람 연구자를 대신할 수준은 아니라는 뜻이다.

FAQ ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.

Q: AI가 논문 서론을 써주면 바로 사용해도 될까요?

A: 아직은 안 됩니다. AI가 쓴 서론은 좋은 초안은 되지만, 인용이 정확한지, 기술적 내용이 맞는지, 연구의 핵심 내용이 제대로 표현됐는지 등을 전문가가 반드시 검토하고 수정해야 합니다.

Q: 어떤 AI가 논문 서론 쓰기에 가장 좋나요?

A: 이번 연구에서는 라마4가 전체적으로 가장 좋은 성능을 보였습니다. 특히 의미 전달과 사실 정확성 면에서 뛰어났고, AI에게 예시 3개를 보여준 후 써달라고 하면 더 좋은 결과를 얻을 수 있습니다.

Q: AI 논문 작성 도구는 언제쯤 실용적으로 쓸 수 있을까요?

A: 지금도 연구를 도와주는 보조 도구로는 충분히 활용할 수 있습니다. 하지만 사람의 감독 없이 혼자 사용하기에는 아직 한계가 있어서, 연구팀도 중요한 학술 작업에서는 전문가 검토 없이 AI 도구를 사용하지 말라고 주의를 당부했습니다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문 명: Let’s Use ChatGPT To Write Our Paper! Benchmarking LLMs To Write the Introduction of a Research Paper

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.