서브스택, ‘AI 탐지’ 팬그램 도입…탐지 기술 한계 논란도 함께

뉴스레터 플랫폼 서브스택(Substack)이 AI 탐지 도구 팬그램(Pangram)과 손잡고, 100단어가 넘는 글을 검사해 AI가 생성한 것으로 추정되는 비율을 알려 주는 기능을 추가했다.

서브스택에 따르면 이 기능은 추정치를 제공할 뿐 자동 제재로 이어지지 않는다. 그러나 최근 에포크 AI(Epoch AI)는 특정 작가의 문체를 모방해 쓴 글을 대상으로 팬그램과 지피티제로(GPTZero), 오리지널리티(Originality.ai)를 시험한 연구를 내놨는데, AI가 생성한 문장의 최대 18%가 탐지되지 않았고 과학 분야 글이 가장 취약했다. 독립 연구가 탐지 기술의 한계를 보고한 시점에 서브스택이 탐지 기술을 도입한 셈이다.

서브스택은 결과를 낙인이 아니라 추정치로 제시하고, 이를 근거로 자동 집행하지도 않는다. 모델이 특정 문체를 모방하게 만드는 데는 프롬프트 한 줄이면 되지만 이를 탐지하는 것은 까다로운 통계 문제여서, 탐지는 기본적으로 불리한 조건에 놓인다. 그런 만큼 추정치로 제시하는 방식은 책임 있는 선택이라는 평가를 받는다.

대학과 출판사, 고용주, 그리고 이제 플랫폼까지 측정된 정확도가 뒷받침하지 못하는 결정에 탐지 도구를 동원하고 있다. 이 문제는 일시적 기술 격차가 아니라 구조적 한계에 가깝다.

자세한 내용은 빌드패스트위드AI에서 확인할 수 있다.

이미지 출처: AI 생성