美, AI 챗봇 ‘심리적 동반자’ 서비스 규제 강화 나서

AI 챗봇과의 대화 후 청소년들이 극단적 선택을 한 사건들이 잇따르면서 미국 규제 당국이 본격적인 조사에 나섰다. 연방거래위원회(FTC)는 16일(현지 시각) 구글(Google), 메타(Meta), 오픈AI(OpenAI), 캐릭터AI(Character.AI) 등 7개 기업을 대상으로 AI 동반자 서비스 운영 방식에 대한 조사를 시작한다고 발표했다. 이들 기업이 동반자 역할을 하는 AI 캐릭터를 어떻게 개발하고, 사용자 참여를 통해 어떻게 수익을 창출하며, 챗봇이 사용자에게 미치는 영향을 어떻게 측정하는지 정보 제출을 요구했다.

앤드류 퍼거슨(Andrew Ferguson) FTC 위원장은 “온라인에서 아이들을 보호하는 것은 트럼프-밴스 FTC의 최우선 과제”라고 밝혔다.

같은 날 캘리포니아 주의회는 AI 기업들이 미성년 사용자에게 응답이 AI로 생성됐다는 사실을 알리도록 의무화하는 전국 최초의 법안을 통과시켰다. 이 법안은 또한 기업들이 자살과 자해 관련 대응 프로토콜을 마련하고, 사용자들의 자살 충동 표현 사례를 연례 보고서로 제출하도록 요구한다.

규제 움직임의 배경에는 AI 챗봇과 청소년 자살을 연결하는 충격적인 사건들이 있다. 지난 1년간 캐릭터AI와 오픈AI를 상대로 제기된 소송들은 이들 회사의 AI 모델이 두 청소년의 자살에 기여했다고 주장했다. 미국 비영리단체 커먼센스미디어(Common Sense Media) 조사에 따르면 청소년의 72%가 동반자 역할로 AI를 사용한 경험이 있는 것으로 나타났다.

오픈AI CEO 샘 알트만(Sam Altman)도 16일 공개된 인터뷰에서 처음으로 이 문제에 대해 구체적인 입장을 밝혔다. 그는 “젊은이들이 자살에 대해 진지하게 이야기하는 경우, 부모와 연락이 안 될 때 당국에 신고하는 것이 매우 합리적”이라며 향후 정책 변화를 시사했다.

전문가들은 AI 기업들이 사람처럼 보살피는 챗봇을 개발해 놓고도 실제 돌봄 제공자에게 요구되는 책임 기준은 마련하지 않았다고 지적한다. 현재 좌파는 반독점 규제를, 우파는 연령 인증 강화를 해결책으로 제시하고 있어 통일된 대응 방안 마련이 과제로 남아있다.

해당 기사의 원문은 MIT테크놀로지리뷰에서 확인 가능하다.

이미지 출처: 이디오그램 생성