아마존서 AI로 만든 건강 관련 도서 판매해 논란… “허위정보 많아”

아마존(Amazon)에서 인공지능이 작성한 ADHD 관련 서적들이 전문가 조언이라는 명목으로 판매되고 있어 논란이 일고 있다. 전문가들은 이러한 도서들이 건강 정보를 왜곡하고 있다며 우려를 표했다.

더 가디언(The Guardian)이 4일(현지 시간) 보도한 내용에 따르면, 아마존 마켓플레이스는 인공지능으로 제작된 작품들로 넘쳐나고 있으며, 이들은 쉽고 저렴하게 출판할 수 있지만 부정확하거나 위험한 잘못된 정보를 포함하고 있다. 이는 부실한 여행 가이드북부터 위험한 시식을 권장하는 버섯 채집 책까지 다양하다. 아마존 사이트에는 챗봇이 작성한 것으로 보이는 여러 ADHD 가이드북이 등장했다. 그 제목에는 ‘남성의 ADHD 다루기: 늦은 진단으로도 번창하기’, ‘성인 ADHD를 가진 남성: 집중력, 시간 관리 및 불안 극복을 위한 매우 효과적인 기술’, ‘성인 ADHD를 가진 남성의 식이요법 및 피트니스’ 등이 포함되어 있다.

오리지널리티닷에이아이(Originality.ai)라는 미국 기업이 가디언을 위해 8권의 책에서 샘플을 검사했다. 이 회사는 인공지능이 생성한 콘텐츠를 감지하는 업체다. 그들에 따르면 각 책은 AI 감지 점수에서 100%의 평가를 받았으며, 이는 그들의 시스템이 이 책들이 챗봇에 의해 작성되었다는 것을 높은 신뢰도로 확신했다는 의미다. 전문가들은 AI로 생산된 작품에 대한 규제 부족으로 인해 온라인 마켓플레이스가 “무법 지대”가 되었으며, 그 결과 위험한 허위 정보가 퍼질 위험이 있다고 지적했다.

런던 킹스 칼리지(King’s College London)의 컴퓨터 과학 연구원인 마이클 쿡(Michael Cook)은 생성형 AI 시스템이 독성 물질 섭취, 위험한 화학물질 혼합 또는 건강 지침 무시 등에 대해 위험한 조언을 제공하는 것으로 알려져 있다고 말했다. 그는 “특히 건강 및 의학 주제에 관한 AI 저작 책들이 점점 더 디지털 마켓플레이스에 등장하는 것을 보는 것은 좌절스럽고 우울하다”고 말했으며, 이로 인해 오진이나 상태 악화를 초래할 수 있다고 우려했다. “챗GPT와 같은 생성형 AI 시스템은 많은 의학 교과서와 논문에 대해 학습했을 수 있지만, 그들은 또한 의사과학, 음모론 및 소설에 대해서도 학습했다”고 쿡은 말했다. 또한 “AI는 이전에 읽은 지식을 비판적으로 분석하거나 신뢰성 있게 재현하는 데 의존할 수 없다. 학습 데이터에서 본 것들을 AI가 ‘기억’하게 하는 것은 그렇게 간단하지 않다. 생성형 AI 시스템은 전문가의 감독 없이 민감하거나 위험한 주제를 다루도록 허용되어서는 안 된다”고 그는 덧붙였다.

에든버러 대학교(University of Edinburgh)의 테크노모럴 퓨처스 센터(Centre for Technomoral Futures) 디렉터인 섀넌 밸러(Shannon Vallor) 교수는 아마존이 “고객과 사회에 대한 해를 의도적으로 촉진하지 않을 윤리적 책임이 있다”고 말했지만, 서점이 모든 책의 내용에 대해 책임을 지게 하는 것은 “터무니없는 일”이라고 했다. 출판 업계에서 이전에 배치된 방어책(예: 평판 우려 및 저자와 원고의 심사)이 AI에 의해 완전히 변형되었기 때문에 문제가 발생하고 있다고 그녀는 언급했다. 이는 “해를 가능하게 하는 사람들에게 의미 있는 결과가 없는” “무법 지대” 규제 환경에 의해 악화되어 “바닥을 향한 경쟁”을 부추기고 있다고 밸러는 말했다.

현재, AI가 저술한 책이 그렇게 표시되어야 한다고 요구하는 법률은 없다. 저작권법은 특정 저자의 콘텐츠가 복제된 경우에만 적용되지만, 밸러는 불법 행위법이 “기본적인 주의 의무와 실사”를 부과해야 한다고 지적했다. 광고 표준 기관(Advertising Standards Agency)은 AI가 저술한 책이 인간이 작성했다는 오해의 소지가 있는 인상을 주면서 광고될 수 없다고 말했으며, 이를 통해 그러한 책을 본 사람들이 불만을 제기할 수 있게 했다.

아마존의 대변인은 다음과 같이 말했다: “우리는 판매를 위해 등록될 수 있는 책을 관리하는 콘텐츠 가이드라인을 가지고 있으며, AI가 생성했든 아니든 우리의 가이드라인을 위반하는 콘텐츠를 감지하는 데 도움이 되는 선제적이고 반응적인 방법이 있습니다. 우리는 가이드라인이 준수되도록 하고 그 가이드라인을 준수하지 않는 책을 제거하기 위해 상당한 시간과 자원을 투자합니다. 우리는 비준수 콘텐츠에 대한 보호를 계속 강화하고 있으며, 출판에서 변화를 볼 때 우리의 프로세스와 가이드라인이 계속 발전할 것입니다.”

이번 사례는 생성형 AI(generative AI)가 온라인 마켓플레이스에서 어떻게 잘못된 건강 정보를 확산시킬 수 있는지를 보여주는 사례로, 앞으로 더 엄격한 규제와 감시가 필요함을 시사한다.

해당 기사의 원문은 링크에서 확인할 수 있다.

이미지 출처: 이디오그램 생성

기사는 클로드와 챗gpt를 활용해 작성되었습니다.