오픈AI, 챗GPT에 아동 성착취 콘텐츠 업로드 시 즉시 신고·영구 차단

오픈AI(OpenAI)가 자사 AI 모델을 악용한 아동 성착취 콘텐츠 생성을 막기 위한 다층 방어 체계를 가동 중이라고 밝혔다. 오픈AI는 29일(현지 시각) 공식 블로그를 통해 AI 생성 아동 성학대 자료(CSAM)와 아동 성착취 자료(CSEM)의 생성 및 유포를 차단하기 위해 정부, 업계, 전문가들과 협력하고 있다고 밝혔다. 회사는 18세 미만 아동을 성적 대상화하는 모든 출력물 사용을 명시적으로 금지하고 있으며, CSAM 생성 시도나 업로드를 한 사용자는 즉시 실종 및 착취 아동 국립센터(NCMEC)에 신고되고 서비스 사용이 영구 차단된다.

오픈AI는 학습 데이터 단계부터 CSAM과 CSEM을 탐지하고 제거하며, 모델이 처음부터 이러한 콘텐츠를 생성하는 능력을 개발하지 못하도록 원천 차단하고 있다. 회사는 해시 매칭 기술과 쏜(Thorn)의 CSAM 콘텐츠 분류기를 활용해 업로드된 콘텐츠를 실시간으로 감시한다.

특히 오픈AI는 새로운 유형의 학대 패턴도 포착했다고 설명했다. 일부 사용자가 CSAM을 업로드하고 상세한 설명을 요청하거나, 가상의 성적 역할극 시나리오에 CSAM을 포함시키려는 시도가 확인됐다. 회사는 프롬프트 수준 탐지, 상황 인식 분류기, 학대 모니터링, 내부 전문가 검토를 조합한 다각적 접근법으로 이를 차단하고 있다.

오픈AI는 미국에서 CSAM 소지와 생성이 불법이어서 AI 모델을 철저히 테스트하는 데 어려움이 있다고 언급하며, 기술 기업과 법 집행 기관, 옹호 단체 간 강력한 파트너십을 촉진하는 공공 정책 프레임워크가 필요하다고 강조했다. 회사는 뉴욕주의 아동 성학대 자료 방지법(Child Sexual Abuse Material Prevention Act) 같은 법안을 지지하며, AI 생성 유해 콘텐츠 탐지와 완화를 위한 명확한 법적 보호 장치 마련을 촉구했다.

해당 기사의 원문은 오픈AI 뉴스룸에서 확인 가능하다.

이미지 출처: 오픈AI