Protecting the Public from Abusive AI-Generated Content
AI 악용으로 인한 사회적 위험 급증
생성형 AI 기술의 발전과 함께 이를 악용한 범죄와 사회적 위험이 빠르게 증가하고 있다. 마이크로소프트(Microsoft)가 최근 발표한 ‘악의적 AI 생성 콘텐츠로부터의 대중 보호’ 백서에 따르면, 2024년 글로벌 온라인 안전 설문조사에서 응답자의 72%가 딥페이크(deepfake)에 대해 우려를 표명했다. 특히 여성 응답자들의 우려가 남성보다 높게 나타나, AI 악용이 특정 계층에 더 큰 위협이 될 수 있음을 시사했다.
디지털 신원확인 기업 온피도(Onfido)의 보고서는 더욱 충격적인 현실을 보여준다. 2022년 대비 2023년 딥페이크를 이용한 신원도용 시도가 3000% 증가했으며, 2024년 상반기 영국의 부정거래 데이터베이스에 접수된 신원 도용 사기 건수는 사상 최고치를 기록했다. 스털링 뱅크(Starling Bank)의 조사에 따르면 영국 성인의 28%가 지난해 AI 음성 복제를 이용한 사기 시도를 경험했으나, 46%는 이러한 유형의 사기가 존재한다는 사실조차 모르고 있었다.
AI 악용의 4대 주요 위험 분야 지적
마이크로소프트는 백서를 통해 AI 악용의 주요 위험을 네 가지로 분류했다.
첫째, AI를 이용한 사기다. 유명인의 딥페이크 영상을 활용한 투자 사기부터 음성 복제를 통한 보이스피싱까지 다양한 형태로 나타나고 있다.
둘째, 아동 성착취물 제작이다. 인터넷감시재단(IWF)은 2023년 10월 한 달간 다크웹에서 2만 건 이상의 AI 생성 아동 성착취물을 발견했으며, 2024년 7월에는 더욱 심각한 수준의 콘텐츠가 3,500건 이상 새로 업로드된 것을 확인했다.
셋째, 선거 관련 허위정보 생성이다. 2024년 영국 총선 과정에서 여러 정치인들이 AI 생성 콘텐츠의 표적이 되었다.
넷째, 동의 없는 합성 이미지 제작으로, 채널4 뉴스의 조사에 따르면 2024년 기준 포르노 또는 합성 이미지를 호스팅하는 상위 5개 웹사이트에서 약 4,000명의 유명인들이 피해를 입은 것으로 나타났다.
6대 핵심 대응 전략 수립
이러한 위험에 대응하기 위해 마이크로소프트는 6대 핵심 전략을 제시했다.
- AI 플랫폼, 모델, 애플리케이션 수준에서 강력한 안전 아키텍처 구축
- 콘텐츠의 진위 여부를 검증할 수 있는 내구성 있는 미디어 출처 확인 및 워터마킹 기술 도입
- 서비스 보호를 위한 조치 강화
- 산업계, 정부, 시민사회와의 협력 추진
- 법제도 현대화
- 공공 인식 제고와 교육 실시
법제도 개선 및 피해자 지원 체계 구축
마이크로소프트는 영국 정부에 콘텐츠 진위성 보호, 딥페이크 대응을 위한 법제도 개선, 공공 인식 제고와 교육 강화를 제안했다. 특히 AI 시스템이 사용자와 상호작용할 때 이를 명시적으로 알리도록 하는 법적 요구사항 도입을 촉구했다.
휴 밀워드(Hugh Milward) 마이크로소프트 영국 대외협력 부사장은 “생성형 AI는 경제 성장을 촉진하고 공공 및 민간 부문의 운영 방식을 획기적으로 개선할 수 있는 세대에 한 번 있을 기술이지만, 신뢰를 얻지 못하면 그 잠재력을 실현할 수 없다”고 강조했다.
피해자 지원을 위해 마이크로소프트는 중앙집중식 신고 포털을 구축했다. 성인의 경우 동의 없이 공유된 성적 이미지나 영상의 삭제를 요청할 수 있으며, 청소년의 경우 실종 및 착취 아동 국립센터(NCMEC)의 ‘Take It Down’ 서비스를 통해 신고할 수 있다.
기사에 인용된 백서에 대한 자세한 정보는 마이크로소프트 홈페이지에서 확인할 수 있다.
기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다.
관련 콘텐츠 더보기
