Influence and cyber operations: an update
AI 기반 정보 조작 공격, 효과는 제한적
OpenAI가 발표한 최신 위협 보고서에 따르면, AI를 활용한 정보 조작 및 사이버 공격 시도가 지속되고 있으나 그 효과는 제한적인 것으로 나타났다. OpenAI는 올해 초부터 20건 이상의 AI 모델 오용 시도를 적발하고 차단했다고 밝혔다. 이들 공격은 멀웨어 디버깅부터 가짜 소셜미디어 계정 운영, 허위 정보 생성 등 다양한 형태로 이뤄졌다.
그러나 OpenAI는 이러한 시도들이 실제로 새로운 유형의 멀웨어를 만들거나 대규모 허위 정보를 퍼뜨리는 데 성공하지는 못했다고 평가했다. 특히 올해 있었던 주요 선거와 관련해 AI를 이용한 여러 정보 조작 시도가 있었지만, 이들 대부분이 대중의 관심을 끌거나 지속적인 영향력을 가지는 데 실패했다고 분석했다.
OpenAI는 위협 행위자들이 주로 AI 모델을 활동의 중간 단계에서 활용한다고 지적했다. 즉, 기본적인 도구(인터넷 접속, 이메일 주소, 소셜미디어 계정 등)를 확보한 후, 최종 ‘완성품'(소셜미디어 게시물, 멀웨어 등)을 배포하기 전 단계에서 AI를 사용한다는 것이다. 이는 AI 기업들이 위협 행위를 탐지하고 대응하는 데 중요한 지점이 될 수 있다고 OpenAI는 분석했다.
AI 기업, 위협 탐지 능력 강화
OpenAI는 AI 기업들이 위협 행위자들의 활동을 탐지하고 분석하는 데 있어 강력한 능력을 갖추게 되었다고 강조했다. 특히 AI 기반 도구 개발을 통해 일부 분석 단계를 며칠에서 몇 분으로 단축할 수 있게 되었다고 밝혔다.
이를 통해 AI 기업들은 이메일이나 인터넷 서비스 제공업체 등 ‘상류’ 제공자와 소셜미디어 등 ‘하류’ 유통 플랫폼 사이에서 중간자 역할을 하며 위협 행위를 종합적으로 파악할 수 있게 되었다는 설명이다. OpenAI는 이러한 위치가 AI 기업들에게 독특한 통찰력을 제공하며, 이는 전체 정보 생태계의 방어를 강화하는 데 도움이 될 수 있다고 주장했다.
진화하는 공격 수법, 대응 필요성 강조
보고서는 위협 행위자들이 계속해서 AI 모델 활용법을 실험하고 있다고 지적했다. 일례로 아제르바이잔 관련 정보 조작 캠페인 ‘A2Z’는 AI를 활용해 소셜미디어 가짜 계정을 대량 생성하고 다국어 콘텐츠를 제작했다. 이 캠페인은 AI를 통해 가짜 소셜미디어 페르소나를 관리하고, 프로필을 생성하며, 게시물과 댓글을 분석하고, 여러 언어로 답변을 작성하는 등 다양한 작업을 수행했다.
OpenAI는 이러한 AI 기반 공격이 기존 방식보다 더 정교해지고 있다며, AI 기업들의 지속적인 모니터링과 대응 체계 구축이 필요하다고 강조했다. 특히 AI 기술 발전 속도를 고려할 때 지속적인 연구와 유연한 대응 체계가 중요하다고 덧붙였다.
한편, OpenAI는 AI 기업들도 적대적 활동의 표적이 될 수 있다고 경고했다. 보고서에 따르면 중국 기반으로 추정되는 위협 행위자 ‘SweetSpecter’가 OpenAI 직원들의 개인 및 회사 이메일 주소로 스피어피싱 공격을 시도한 사례가 있었다고 한다.
국제 협력 통한 대응 필요성 제기
OpenAI는 이번 보고서를 통해 AI 기업들이 위협 정보를 공유하고 공동 대응하는 것이 중요하다고 강조했다. 실제로 이란 기반의 정보 조작 캠페인 ‘STORM-2035’ 적발 과정에서 Meta, Microsoft 등과 정보를 공유하며 더 폭넓은 조사가 가능했다고 밝혔다.
STORM-2035는 미국 대선과 관련된 콘텐츠를 생성하고 배포하는 데 AI를 활용한 것으로 알려졌다. OpenAI는 이 캠페인이 웹사이트 게시물과 소셜미디어 댓글을 동시에 생성하는 등 복합적인 전략을 사용했다고 분석했다. 그러나 이 캠페인 역시 의미 있는 수준의 관심을 끌거나 지속적인 영향력을 확보하는 데는 실패한 것으로 나타났다.
OpenAI는 앞으로도 정보기관, 조사팀, 보안 연구진, 정책팀 등과 협력해 AI 모델의 악용 가능성을 지속적으로 모니터링하고 대응책을 마련해 나갈 것이라고 밝혔다. 또한 업계 파트너들과 핵심 이해관계자들에게 관련 교훈을 전달하고, 위험에 선제적으로 대응하며 집단적 안전과 보안을 강화하기 위해 노력할 것이라고 강조했다.
이번 보고서는 AI 기술의 발전이 가져올 수 있는 위협과 그에 대한 대응 방안을 제시했다는 점에서 의의가 있다. AI 기술이 정보 조작이나 사이버 공격에 활용될 가능성이 있지만, 동시에 이를 탐지하고 방어하는 데도 중요한 역할을 할 수 있다는 점을 보여주고 있다. 앞으로 AI 기업들과 보안 전문가들의 지속적인 협력과 연구가 필요할 것으로 보인다.
기사에 인용된 리포트 원문은 링크에서 확인할 수 있다.
기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다.
관련 콘텐츠 더보기
