Identifying and Eliminating CSAM in Generative ML Training Data and Models
스탠포드 인터넷 연구소(Stanford Internet Observatory)가 최근 발표한 보고서에 따르면, 주요 인공지능(AI) 이미지 생성 모델의 학습 데이터에서 수천 건의 아동 성착취 자료(Child Sexual Abuse Material, CSAM)가 발견된 것으로 나타났다. 이는 AI 윤리와 안전성 측면에서 심각한 우려를 낳고 있으며, 업계 전반의 신속한 대응이 요구되는 상황이다.
문제의 핵심, LAION-5B 데이터셋
보고서는 스테이블 디퓨전(Stable Diffusion)을 비롯한 여러 AI 이미지 생성 모델의 학습에 사용된 LAION-5B 데이터셋을 분석했다. LAION-5B는 약 50억 개의 이미지-텍스트 쌍으로 구성된 대규모 데이터셋으로, 웹에서 수집된 방대한 양의 이미지를 포함하고 있다.
연구팀은 LAION-5B 데이터셋에서 총 3,226개의 의심스러운 CSAM 항목을 식별했다. 이 중 상당수는 제3자 기관에 의해 CSAM으로 확인되었다. 특히 문제가 되는 점은 이러한 불법 콘텐츠가 AI 모델의 학습 과정에 포함되어 있다는 사실이다.
데이비드 타일(David Thiel) 연구원은 “LAION-5B 데이터셋을 보유하고 있다는 것은 곧 수천 개의 불법 이미지를 소지하고 있다는 의미”라고 지적했다. 그는 “이는 비동의 하에 수집 및 공유된 친밀한 이미지들은 제외한 수치”라고 덧붙였다.
CSAM 탐지 방법과 한계
연구팀은 CSAM을 식별하기 위해 여러 기술을 활용했다. 주요 방법으로는 마이크로소프트의 포토DNA(PhotoDNA) API를 사용한 지각 해싱(perceptual hashing), MD5 암호화 해시 비교, K-최근접 이웃(KNN) 알고리즘을 이용한 유사 이미지 검색 등이 있었다.
그러나 이러한 방법에도 한계가 있었다. 예를 들어, 데이터셋에 포함된 URL 중 약 30%는 이미 비활성화되어 접근이 불가능했다. 또한 산업 해시 데이터베이스의 불완전성, 콘텐츠 분류기의 정확도 한계 등으로 인해 실제 CSAM의 수는 발견된 것보다 더 많을 것으로 추정된다.
AI 산업에 미치는 영향
이번 발견은 AI 업계에 큰 파장을 일으키고 있다. CSAM이 학습 데이터에 포함되어 있다는 사실은 AI 모델이 아동과 성적 행위를 연관 짓는 개념을 학습했을 가능성을 제기한다. 특히 동일한 CSAM 이미지가 반복해서 등장하는 경우, 특정 피해자의 모습을 AI가 재현할 위험성도 존재한다.
타일 연구원은 “CSAM의 존재가 모델 출력에 극적인 영향을 미치지 않더라도, 여전히 문제가 있다”고 강조했다. 그는 “특정 피해자의 동일한 이미지가 반복되는 것은 특히 문제”라고 설명했다.
해결책과 권고사항
보고서는 이 심각한 문제를 해결하기 위한 다각도의 방안을 제시했다. 우선 가장 시급한 조치로, 식별된 CSAM을 원본 호스팅 URL, 공개 LAION 데이터셋, 내부 참조 데이터셋 등 모든 관련 소스에서 즉시 제거해야 한다고 강조했다.
장기적인 해결책으로는 데이터셋 구축 과정의 개선이 필요하다고 지적했다. 향후 AI 학습용 데이터셋을 만들 때는 NCMEC(국립실종착취아동센터), 마이크로소프트, C3P(아동보호를 위한 캐나다 센터), Thorn 등 CSAM 관련 전문 기관들과 긴밀히 협력해 더욱 엄격한 필터링 시스템을 적용해야 한다는 것이다.
모델 학습 과정에서도 개선이 필요하다고 보고서는 제안했다. 특히 아동 이미지와 성인 콘텐츠를 명확히 분리해 학습시키는 등의 방법을 통해 AI가 CSAM을 생성할 가능성을 원천적으로 차단해야 한다고 강조했다.
콘텐츠 호스팅 플랫폼들의 역할도 중요하게 언급됐다. 레딧, 트위터 등 주요 소셜 미디어 플랫폼들은 이미 업로드된 기존 콘텐츠에 대해서도 정기적인 재검사를 실시해야 한다고 제안했다. 이는 과거에 업로드된 CSAM이 오랫동안 플랫폼에 남아있는 것을 방지하기 위함이다.
마지막으로, Hugging Face와 같은 AI 모델 및 데이터셋 호스팅 플랫폼들의 책임도 강조됐다. 이들 플랫폼은 CSAM을 즉각적으로 보고하고 신속하게 제거할 수 있는 강력한 메커니즘을 구축해야 한다고 보고서는 권고했다. 이를 통해 문제가 되는 콘텐츠가 AI 커뮤니티 내에서 더 이상 유통되지 않도록 해야 한다는 것이다.
산업계의 반응과 향후 전망
이번 연구 결과는 AI 윤리와 안전성에 대한 논의를 더욱 활발하게 만들고 있다. 특히 웹 스케일 데이터셋의 문제점이 다시 한번 부각되면서, 더욱 신중하고 윤리적인 데이터 수집 및 관리의 필요성이 강조되고 있다.
타일 연구원은 “이상적으로는 이러한 대규모 데이터셋은 연구 환경에만 제한적으로 사용되어야 한다”고 주장했다. 그는 “공개적으로 배포되는 모델에는 더욱 엄선되고 출처가 명확한 데이터셋이 사용되어야 한다”고 덧붙였다.
결론적으로 이번 사태는 AI 기술의 발전 속도에 걸맞은 윤리적, 법적 프레임워크의 필요성을 다시 한번 일깨워주고 있다. AI 기업들과 연구자들은 혁신을 추구하는 동시에 사회적 책임을 다해야 한다는 압박을 받고 있다. 앞으로 AI 학습 데이터의 품질과 윤리성을 담보하기 위한 산업계의 자정 노력과 함께, 정부 차원의 규제 논의도 더욱 활발해질 전망이다.
스탠포드 대학의 논문은 링크에서 확인할 수 있다.
본 기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다.
관련 콘텐츠 더보기
