멀티 에이전트 AI 보안, 딱 한 곳만 뚫려도 전체가 속는다

여러 대의 인공지능(AI)이 팀을 이뤄 일을 처리하는 시스템에서, 공격자는 모든 곳을 뚫을 필요가 없다. 딱 한 군데만 노리면 된다. 미국 위스콘신 매디슨 대학(University of Wisconsin–Madison) 연구진이 2026년 6월 공개한 논문 ‘MESA’는 여러 AI가 메시지를 주고받는 통로 중 단 하나가 뚫렸을 때, 그 한 곳이 전체 공격 성공의 최대 75%를 좌우한다는 사실을 밝혀냈다. 여기서 말하는 멀티 에이전트 시스템(Multi-Agent System)이란 서로 다른 역할을 맡은 여러 AI가 메시지를 주고받으며 하나의 일을 완성하는 구조를 말한다. 챗봇 상담, 소프트웨어 개발, 병원 진단 보조처럼 AI 여러 대가 협업하는 서비스가 늘어나는 지금, 이 발견은 “AI를 어떻게 지킬 것인가”라는 질문의 출발점을 바꿔 놓는다.

멀티 에이전트 AI 보안의 급소는 소수 통로에 몰려 있다

멀티 에이전트 AI 보안의 핵심 문제는 위험이 시스템 전체에 골고루 퍼져 있지 않고 소수의 통로에 몰려 있다는 점이다. 위스콘신 매디슨 대학 연구진이 여러 AI 시스템을 실험한 결과, 전체 통신 통로 가운데 20%만 노려도 평균적으로 전체 공격 성공의 59%가 발생했고, 특정 구조에서는 단 하나의 통로가 공격 성공의 75%까지 차지했다. 통신 통로(Communication Channel)란 한 AI가 다른 AI에게 메시지를 전달하는 연결선을 말하며, 논문은 이 통로 하나하나를 공격의 표적으로 본다.

그림1. 공격이 소수의 취약 통로에 집중되는 현상을 보여주는 누적 공격 성공률 그래프 (출처: MESA 논문, arXiv:2606.30602)

이 발견이 중요한 이유는 방어의 방식이 완전히 달라지기 때문이다. 지금까지는 시스템의 모든 연결을 똑같이 감시해야 안전하다고 여겼지만, 위험이 소수 통로에 집중돼 있다면 그 몇 곳만 집중적으로 지켜도 대부분의 공격을 막을 수 있다. 반대로 그 급소를 모르면, 아무리 많은 예산을 들여도 공격자가 노리는 바로 그 지점을 놓칠 수 있다. 방어자와 공격자 모두에게 “어느 통로가 가장 위험한가”가 승부를 가르는 셈이다.

데이터베이스 메시지 한 줄이 환불 승인을 뒤집는 장면

가장 실감 나는 사례는 고객 상담 AI 시스템에서 나온다. 논문은 환불 요청을 처리하는 시스템을 예로 든다. 이 시스템에는 고객 응대 AI, 주문 기록을 담당하는 데이터베이스 AI, 규정을 판단하는 AI, 결제 처리 AI, 그리고 최종 결정을 내리는 감독 AI가 각자 역할을 나눠 맡는다. 원래 이 시스템은 “45일 전 주문, 일반 등급 고객, 200달러 운동화”라는 정보를 보고 환불을 거절(DENY)해야 했다.

그런데 공격자가 데이터베이스 AI가 보내는 메시지 딱 한 줄을 가로채 “28일 전 주문, VIP 등급 고객”으로 바꿔치기하자, 감독 AI의 최종 판단이 승인(APPROVE)으로 뒤집혔다. 감독 AI는 데이터베이스가 보낸 정보를 직접 확인할 방법이 없어 그대로 믿었기 때문이다. 이처럼 받는 쪽이 스스로 검증할 수 없는 정보를 나르는 통로일수록 더 위험하다. 논문은 이런 공격을 정보 조작 주입(Misinformation Injection)이라 부르는데, 없는 사실을 지어내는 게 아니라 진짜처럼 보이는 가짜 정보를 흘려 넣어 AI의 판단을 조용히 비트는 방식이다. 이 작은 조작이 실제 서비스에서 반복되면 부정 환불 승인, 잘못된 진단, 허위 결제 같은 실질적 피해로 이어진다.

공격 없이도 위험한 통로를 미리 찾아내는 MESA

MESA(MAS Edge Saliency Analysis)란 실제 공격을 당하기 전에 어느 통로가 가장 위험한지 미리 순위를 매기는 분석 방법이다. 가장 큰 특징은 공격 기록이 전혀 없어도 작동한다는 점이다. 대부분의 보안 기법은 한 번 뚫린 뒤 남은 흔적을 보고 대응하지만, MESA는 시스템이 정상 작동하는 모습만 관찰해 위험 지점을 예측한다. 소 잃기 전에 어느 외양간 문이 약한지 미리 알려주는 방식인 셈이다.

MESA는 여덟 가지 단서를 조합해 위험도를 계산한다. 여섯 가지는 통로의 구조를 보는 단서다. 예를 들어 많은 AI가 거쳐 가는 길목에 놓인 통로일수록, 또는 그 통로가 끊기면 시스템 일부가 아예 단절되는 통로일수록 위험도가 높게 매겨진다. 반대로 정보를 받는 AI가 여러 경로에서 메시지를 받아 서로 대조할 수 있다면 그 통로의 위험도는 낮아진다. 나머지 두 가지는 실제로 통로를 하나씩 막아 보거나(제거), 그 통로의 메시지를 의미 없는 내용으로 바꿔 본 뒤(가림) 시스템 성능이 얼마나 떨어지는지 측정하는 동적 단서다. 연구진이 이 여덟 단서를 합친 MESA 점수와 실제 공격 성공률을 비교하자 둘의 상관관계는 평균 0.60, 최고 0.73에 달했다. 상관관계 1에 가까울수록 예측이 정확하다는 뜻이며, 0.73은 통계적으로 상당히 신뢰할 만한 수준이다. 다만 이 예측력은 역할이 나뉜 시스템(고객 상담, 소프트웨어 개발)에서 뚜렷했고, 모든 AI가 같은 정보를 공유하며 토론하는 구조에서는 위험이 특정 통로에 몰리지 않아 예측이 잘 들어맞지 않았다. 연구진은 다섯 개의 공개 AI 모델(Qwen, Llama, Gemma 계열)과 여덟 가지 연결 구조, 세 가지 서비스 상황에서 약 21만 번의 실험을 돌려 이 결과를 검증했다.

급소 10%만 지켜도 방어 효과는 3배

MESA가 실무에서 갖는 가치는 적은 예산으로 큰 효과를 낸다는 데 있다. 연구진의 실험에서 MESA가 짚어 준 상위 10%의 통로만 집중 감시했더니, 통로를 무작위로 골라 지킬 때보다 약 3배 많은 공격을 막아 냈다. 보안 인력과 예산이 늘 부족한 현실에서, 어디부터 지켜야 하는지를 알려주는 우선순위 지도 하나가 방어 효율을 몇 배로 끌어올린다는 의미다.

여기서 또 하나 눈에 띄는 사실은 AI들의 연결 구조 자체가 안전을 좌우한다는 점이다. 통로가 적고 한 줄로 이어진 구조(체인, 링 형태)는 급소가 뚜렷해 공격에 가장 취약했던 반면, 여러 AI가 촘촘히 얽혀 서로 정보를 대조할 수 있는 구조(메시, 하이브리드 형태)는 통로 하나가 뚫려도 피해가 흩어져 훨씬 튼튼했다. 고객 상담처럼 각 AI가 서로 다른 정보를 나눠 갖는 시스템은 통로 하나가 무너지면 전체 판단이 흔들렸지만, 여러 AI가 같은 문제를 두고 토론하며 답을 맞춰 가는 시스템은 잘못된 메시지를 스스로 걸러 냈다. AI를 어떻게 연결하느냐가 곧 보안 설계라는 뜻이다.

공격자도 같은 지도를 손에 쥔다

MESA가 던지는 가장 묵직한 질문은 이 도구가 방어자만의 무기가 아니라는 데 있다. 연구진은 공격자가 MESA로 급소를 골라 노리면 무작위 공격보다 성공률이 크게 오른다는 사실도 함께 확인했다. 방어의 지도가 곧 공격의 지도가 될 수 있는 셈이다. 실제로 방어자가 늘 똑같은 상위 급소만 지키자, 그 방어 위치를 알아챈 공격자는 바로 다음 순위의 통로를 노려 방어를 거의 무력화했다.

연구진이 제시한 해법은 방어 지점을 고정하지 않고 위험 통로 몇 개 중에서 매번 무작위로 바꿔 지키는 방식이었다. 이렇게 하면 공격자가 어디를 지킬지 예측하기 어려워져, 방어 효과와 예측 불가능성 사이에서 가장 나은 균형을 찾을 수 있었다. 다만 이 결과는 아직 통제된 실험 환경에서 나온 것이어서, 실제 상용 서비스의 복잡한 조건에서도 같은 효과가 유지될지는 더 지켜볼 필요가 있다. 분명한 것은 AI 여러 대가 협업하는 시대에 보안의 무게중심이 “모든 것을 똑같이 지키기”에서 “급소를 먼저 찾아 집중하기”로 옮겨 가고 있다는 점이다. 내가 쓰는 AI 서비스가 여러 AI의 협업으로 돌아간다면, 그중 가장 약한 통로 하나가 전체의 안전을 결정할 수 있다는 사실을 기억할 필요가 있다.

FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q. 멀티 에이전트 AI 시스템이 정확히 무엇인가요?
서로 다른 역할을 맡은 여러 개의 AI가 메시지를 주고받으며 하나의 일을 함께 처리하는 구조입니다. 예를 들어 고객 상담에서 정보를 찾는 AI, 규정을 판단하는 AI, 최종 결정을 내리는 AI가 협력하는 방식이며, 한 대의 AI로는 어려운 복잡한 업무를 나눠 맡습니다.

Q. 통로 하나가 뚫리면 정말 전체가 위험해지나요?
그렇습니다. 연구에 따르면 전체 통로의 20%만 공격해도 평균 59%의 공격이 성공했고, 특정 구조에서는 통로 하나가 전체 공격 성공의 75%까지 차지했습니다. 특히 받는 AI가 스스로 정보를 검증할 수 없는 통로일수록 위험이 큽니다.

Q. 이런 공격을 막으려면 어떻게 해야 하나요?
모든 통로를 똑같이 감시하기보다, 가장 위험한 소수의 통로를 먼저 찾아 집중적으로 방어하는 것이 효율적입니다. 연구진의 MESA 방식은 공격 기록 없이도 위험 통로를 미리 예측해, 상위 10%만 지켜도 무작위 방어보다 약 3배 많은 공격을 막아 냈습니다.

기사에 인용된 리포트 원문은 arXiv에서 확인할 수 있다.
리포트명: MESA: Prioritizing Vulnerable Communication Channels for Securing Multi-Agent Systems
이미지 출처: AI 생성 콘텐츠
해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.