AI 글쓰기 감지 기술이 발전하고 있지만, 이들을 속일 수 있는 간단한 방법이 존재한다는 사실이 최근 흥미로운 실험을 통해 밝혀졌다. 23일(현지 시간) Medium에서 발표한 내용에 따르면, ‘오리지널리티 AI'(Originality AI)가 문법적 오류가 포함된 AI 생성 콘텐츠를 100% 인간이 작성한 것으로 잘못 판단했다. 이는 AI 감지 기술이 완벽한 문법과 문장 구조에 의존하고 있음을 보여주는 결과다.
실험자는 챗GPT(Chat GPT) 4.5 모델을 사용해 ‘비숑 프리제'(Bichon Frise) 견종에 관한 500단어 글을 작성하도록 요청했다. 이 글을 오리지널리티 AI에 입력했을 때, 감지기는 즉시 100% AI 작성물로 정확히 식별했다. “그 다음으로 챗GPT에게 오타를 넣어달라고 요청했습니다. 사람이 글을 쓸 때 발생할 수 있는 미묘한 오타들, 전문 편집자가 아니라면 눈치채지 못할 정도의 오타를 말이죠,” 실험자는 설명했다. 이렇게 오타가 포함된 글을 오리지널리티 AI에 다시 입력했을 때, 감지기는 99%의 확률로 여전히 AI 작성물로 판단했다. 하지만 실험의 전환점은 그 다음이었다.
실험자는 단순한 오타뿐만 아니라 문법적 오류까지 추가해달라고 챗GPT에 요청했다. 부정사 분리나 전치사로 문장을 끝맺는 등 공식적인 문법 규칙을 따르지 않지만 사람들이 일상적으로 사용하는 문법적 오류를 포함시켰다. 놀랍게도, 이 결과를 오리지널리티 AI에 입력했을 때 감지기는 100% 신뢰도로 이 글이 인간이 작성한 원본이라고 판단했다. 이는 문법 오류가 AI 감지 메커니즘을 완전히 혼란시킬 수 있음을 보여준다.”AI 감지기들은 많은 AI 글쓰기 결과물을 기반으로 훈련됩니다. 챗GPT나 유사한 모델의 결과물을 모아 이러한 챗봇이 사용하는 패턴을 감지하도록 훈련시키는 것이죠,” 실험자는 설명했다.
이 실험은 AI 감지 기술의 중요한 한계를 보여준다. 현재 구글(Google)을 비롯한 많은 기업들이 AI 작성 콘텐츠를 감지하기 위해 유사한 기술을 사용하고 있을 가능성이 높다. “단순히 몇 개의 오타를 추가하는 것만으로는 감지기를 속이기 어렵습니다. 단어 자체가 유사하고 문장 구조도 비슷하기 때문에 여전히 AI 글처럼 보이기 때문이죠. 그러나 문법적 변화를 조금만 추가해도 AI 감지 플랫폼을 완전히 혼란시키는 것으로 보입니다.”
이 실험 결과는 인간 작가들에게도 중요한 시사점을 제공한다. 너무 완벽한 문법과 문장 구조를 사용하면 오히려 AI 작성물로 잘못 판단될 가능성이 높아진다. 인간 특유의 글쓰기 스타일을 유지하는 것이 중요하다는 것이다. “인간 작가로서 우리의 궁극적인 목표는 챗GPT 같은 AI와 구별되는 글쓰기입니다. 지나치게 편집된 글이나 공식적인 문법 규칙을 모두 따르는 글은 오히려 AI 챗봇처럼 보일 수 있고, 잘못 감지될 확률이 높아집니다.”
이는 편집자들에게도 좋은 소식이다. 오타를 수정하는 것만으로는 AI 글쓰기와 인간 글쓰기를 구별하지 못하므로, 오타 수정은 여전히 중요한 작업이다. 그러나 글을 너무 완벽하게 만드는 것은 역효과를 낼 수 있다. 결론적으로, 인간 작가들은 단어 선택, 문장 구조, 문법에서 자신만의 독특함을 유지하면서 오타는 자유롭게 수정하는 것이 AI와 구별되는 글쓰기의 핵심이라는 점을 기억해야 할 것이다.
해당 기사의 원문은 링크에서 확인할 수 있다.
이미지 출처: 이디오그램 생성
기사는 클로드와 챗GPT를 활용해 작성되었습니다.
관련 콘텐츠 더보기
