Generative AI Misuse: A Taxonomy of Tactics and Insights from Real-World Data
이미지 출처: 미드저니 생성
생성형 AI 기술이 급속도로 발전하면서 이를 악용하는 사례도 늘어나고 있다.
구글 딥마인드 연구진은 최근 생성형 AI 오용 사례 200여 건을 분석한 결과를 발표했다. 이번 연구는 2023년 1월부터 2024년 3월까지의 사례를 대상으로 했다.
연구진에 따르면 생성형 AI 오용의 주요 목적은 여론 조작(26.5%), 금전적 이득(20.5%), 사기(18.1%) 순으로 나타났다. 가장 흔한 전술은 실존 인물 사칭(impersonation), 콘텐츠 대량 생성 및 확산(scaling & amplification), 허위 정보 조작(falsification) 등이었다.
주목할 만한 점은 대부분의 오용 사례가 AI 시스템을 직접 공격하는 것이 아니라 AI의 기능을 악용하는 형태라는 것이다. 전체 사례의 약 90%가 이에 해당했다. 특히 인간의 모습을 조작하는 전술이 가장 많았는데, 실존 인물 사칭, 가짜 계정 생성, 인물 이미지 변조 등이 여기에 포함된다.
구체적인 오용 사례로는 정치인의 목소리를 모방해 유권자들의 투표를 방해하려 한 경우, AI로 생성한 가짜 뉴스 기사와 이미지로 여론을 조작하려 한 시도 등이 있었다. 또한 유명인의 딥페이크 포르노를 제작해 판매하는 등 금전적 이익을 노린 사례도 다수 발견됐다.
연구진은 “고도로 정교한 국가 주도의 AI 오용에 대한 우려가 있지만, 실제로는 기술적 전문성이 낮은 일반인들도 쉽게 접근할 수 있는 AI 기능을 악용하는 사례가 대부분”이라고 밝혔다.
이에 대한 대응책으로 연구진은 기술적 보안 강화와 함께 사용자 대상 교육의 중요성을 강조했다. 특히 ‘사전 면역(prebunking)’ 기법을 통해 사용자들이 AI를 이용한 속임수나 조작을 미리 알아차릴 수 있도록 하는 것이 효과적일 것이라고 제안했다.
연구진은 “생성형 AI 기술이 더욱 발전하고 일상에 깊이 통합될수록 오용 가능성도 커질 것”이라며 “기술 개발자, 정책 입안자, 연구자들의 지속적인 협력이 필요하다”고 강조했다.
구글의 생성적 AI 오용: 실제 데이터에서 얻은 전술과 인사이트의 분류법 논문은 링크를 통해 전문을 확인할 수 있다.
본 기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다.
관련 콘텐츠 더보기
