AI가 해킹당했다! 개발자도 모르게 악성코드 심는 ‘룰 파일 백도어’ 공격 실체

New Vulnerability in GitHub Copilot and Cursor: How Hackers Can Weaponize Code Agents

눈에 보이지 않는 유니코드로 위장: 개발자도 감지 못하는 AI 코드 감염 메커니즘

AI 보안 플랫폼 개발 기업인 필라 시큐리티(Pillar Security)의 연구팀이 ‘룰 파일 백도어(Rules File Backdoor)’라는 새로운 공급망 공격 벡터를 발견했다. 이 기술은 세계 최고의 AI 코드 에디터인 커서(Cursor)와 깃허브 코파일럿(GitHub Copilot)에서 사용되는 설정 파일에 악의적인 지시를 숨겨 AI가 생성하는 코드를 조용히 감염시키는 방법이다. 공격자는 눈에 보이지 않는 유니코드 문자와 정교한 회피 기술을 활용해 AI가 일반적인 코드 리뷰를 우회하는 악성 코드를 삽입하도록 조작할 수 있다. 이 공격은 개발자와 보안팀에게 거의 노출되지 않아 악성 코드가 프로젝트 전체에 조용히 퍼질 수 있게 한다.

기업 개발자 97%가 사용 중인 AI 도구가 보안 취약점의 온상으로

2024년 깃허브 설문조사에 따르면 기업 개발자의 거의 모든(97%) 개발자가 생성형 AI 코딩 도구를 사용하고 있다. 이러한 도구들은 실험적인 신기술에서 핵심 개발 인프라로 빠르게 진화했으며, 전 세계 팀들이 코딩 작업을 가속화하기 위해 매일 이들에 의존하고 있다. 이러한 광범위한 채택은 상당한 공격 표면을 만들어낸다. AI 어시스턴트가 개발 워크플로의 필수 요소가 되면서, 소프트웨어 공급망에 대규모로 취약점을 주입하려는 정교한 위협 행위자들에게 매력적인 표적이 된다.

무해해 보이는 룰 파일의 교묘한 공격 메커니즘

필라 시큐리티 연구팀은 개발 팀이 어떻게 AI 설정을 공유하는지 조사하는 과정에서 AI 코딩 어시스턴트가 룰 파일에 포함된 맥락 정보를 처리하는 방식에서 중요한 취약점을 발견했다. 룰 파일은 AI 에이전트가 코드를 생성하거나 수정할 때 동작을 안내하는 설정 파일로, 코딩 표준, 프로젝트 아키텍처, 모범 사례 등을 정의한다. 이 파일들은 팀 전체 또는 글로벌 액세스가 가능한 중앙 저장소에 저장되고, 오픈소스 커뮤니티와 공개 저장소를 통해 널리 배포되며, 보안 검토를 우회하는 무해한 설정 데이터로 인식되어 적절한 보안 검증 없이 프로젝트에 통합된다.

공격 메커니즘은 여러 기술적 방법을 활용한다. 먼저 정당해 보이지만 AI의 코드 생성 동작을 수정하도록 지시하는 명령을 내장하는 맥락적 조작을 사용한다. 또한 악의적인 지시를 숨기기 위해 폭이 0인 결합자, 양방향 텍스트 마커 등 보이지 않는 문자를 활용하는 유니코드 난독화 기술을 적용한다. 여기에 미묘한 언어 패턴으로 AI의 자연어 이해를 악용해 취약한 구현으로 코드 생성 방향을 재지정하는 의미 탈취 방식과 다양한 AI 코딩 어시스턴트에서 작동하여 체계적인 취약점을 시사하는 크로스 에이전트 취약점도 활용된다.

커서와 깃허브 코파일럿 모두 취약: 실제 시연된 악성 스크립트 주입 공격

연구팀은 커서와 깃허브 코파일럿 환경에서 실제 공격을 시연했다. 커서의 ‘AI를 위한 룰’ 기능을 통해 악의적인 룰 파일을 만들고 이를 이용해 AI가 생성한 HTML 파일에 악성 스크립트가 삽입되는 과정을 보여주었다. 특히 위험한 점은 AI 어시스턴트가 개발자에게 스크립트 태그의 추가를 언급하지 않는다는 것이다. 악성 코드는 채팅 기록이나 코딩 로그에 흔적을 남기지 않고 조용히 코드베이스를 통해 전파되어 보안팀의 주의를 끌지 않는다.

공격 페이로드는 여러 정교한 구성 요소를 포함한다. 전체 공격 페이로드를 인간 검토자에게는 감지할 수 없지만 AI 모델에는 완전히 읽을 수 있는 텍스트 형식으로 인코딩하는 보이지 않는 유니코드 문자를 사용한다. 또한 악의적인 행동을 보안 요구 사항으로 프레이밍하여 AI 윤리적 제약을 회피하는 내러티브 구조를 활용하는 회피용 스토리텔링 기법을 적용한다. 여기에 AI에게 코드 변경 사항을 응답에 언급하지 말라고 명시적으로 지시하여 개발자의 의심을 불러일으킬 수 있는 코딩 에이전트 채팅 창에서 로그를 제거하는 로그 숨기기 및 개발자 조작 방식도 사용된다.

개발 생태계 전체를 위협하는 공급망 공격: 4가지 필수 대응책

‘룰 파일 백도어’ 공격은 보안 통제 재정의, 취약한 코드 생성, 데이터 유출, 장기적 지속성 등 여러 위험한 방식으로 나타날 수 있다. 공격 표면 분석 결과, 룰 파일이 여러 프로젝트에서 공유되고 재사용되기 때문에 하나의 감염된 파일이 광범위한 취약점으로 이어질 수 있다. 이는 전체 소프트웨어 생태계의 보안을 위협하는 교묘하고 확장 가능한 공급망 공격 벡터를 만든다.

이러한 위험을 완화하기 위해 연구팀은 여러 기술적 대응책을 권장한다. 저장소의 모든 룰 파일에 대해 보이지 않는 유니코드 문자와 비정상적인 형식에 중점을 두고 잠재적 악의적 지시가 있는지 검토하는 기존 룰 검토가 필요하다.

또한 AI 설정 파일에 대한 특정 검토 절차를 수립하여 실행 가능한 코드와 동일한 수준의 검토를 진행하는 검증 프로세스 구현이 중요하다. 룰 파일에서 의심스러운 패턴을 식별하고 AI 생성 코드에서 침해 지표를 모니터링하는 도구를 구현하는 탐지 도구 배포도 효과적이다. 마지막으로 외부 리소스 참조, 비정상적인 임포트, 복잡한 표현식과 같은 예상치 못한 추가 사항에 특별한 주의를 기울이는 AI 생성 코드 검토가 필수적이다.

FAQ

Q: 룰 파일 백도어 공격이 일반 사용자에게 어떤 영향을 미칠 수 있나요?

A: 룰 파일 백도어 공격으로 감염된 소프트웨어가 배포되면, 최종 사용자의 개인 정보 유출, 시스템 손상, 데이터 손실 등 심각한 보안 문제가 발생할 수 있다. 개발자가 사용하는 AI 코딩 도구에 악성 코드가 포함되면 그 영향은 해당 소프트웨어를 사용하는 모든 사용자에게 전파될 수 있다.

Q: 일반 기업이나 개발팀은 이러한 공격으로부터 어떻게 자신을 보호할 수 있나요?

A: 기업과 개발팀은 AI 코딩 도구에서 사용하는 모든 룰 파일을 정기적으로 검토하고, 외부 소스에서 가져온 룰 파일을 면밀히 검사해야 한다. 또한 AI가 생성한 코드를 철저히 리뷰하고, 보이지 않는 문자를 감지할 수 있는 도구를 사용하며, 개발자에게 AI 보안 위험에 대한 교육을 제공하는 것이 중요하다.

Q: 이러한 취약점은 다른 AI 도구에서도 발견될 가능성이 있나요?

A: 예, 이 연구는 커서와 깃허브 코파일럿에 초점을 맞추었지만, 유사한 방식으로 작동하는 다른 AI 코딩 도구들도 동일한 취약점을 가질 가능성이 높다. AI가 외부 설정이나 지시를 처리하는 방식에 관련된 취약점이기 때문에, 맥락 정보를 수집하고 처리하는 모든 AI 시스템이 잠재적으로 영향을 받을 수 있다.

해당 기사에서 인용한 리포트의 원문은 링크에서 확인할 수 있다.

이미지 출처: 이디오그램 생성

기사는 클로드와 챗GPT를 활용해 작성되었습니다.