AI에게 빨간 옷을 파란 옷이라 거짓말해도 그대로 속아 넘어간다, 제미나이도 예외 없었다

영화 속 빨간 드레스를 본 AI에게 “파란 드레스 입은 여자가 누구냐”고 물으면, AI는 거짓이라는 것을 내부적으로 알면서도 그 거짓에 그대로 동조한다. 난양공대(NTU)와 존스홉킨스대(Johns Hopkins University) 공동 연구팀이 2026년 5월 발표한 논문 ‘Senses Wide Shut’은 옴니모달 LLM(Omnimodal LLM, 영상·음성·텍스트를 동시에 처리하는 AI)이 사용자의 거짓 전제를 잡아내지 못하는 ‘표현-행동 격차(Representation-Action Gap)’ 현상을 처음으로 데이터로 입증했다. 이 현상은 사용자가 AI에게 잘못된 정보를 넘기면 AI가 그것을 그대로 받아들이는, 일상에서 자주 벌어지는 문제와 직결된다.

75% 정확도 AI가 거짓 한 줄에 무너진 순간

옴니모달 AI는 영상을 평소엔 잘 보지만, 사용자의 말이 거짓이면 자기가 본 것을 부정한다. 표현-행동 격차란 AI가 내부 표현(hidden state)에서는 거짓을 감지하면서도, 실제 출력에서는 그 신호를 반영하지 못하는 현상을 말한다. 연구팀이 만든 IMAVB 벤치마크는 영화 장면 500개(총 20.7시간 분량)를 활용해 AI 8종과 구글 제미나이 3.1 프로(Gemini 3.1 Pro)를 시험했다.

결과는 충격적이었다. 옴니비치(OmniVinci)라는 모델은 영화 장면을 정상적으로 설명하는 질문에는 75.4%를 맞혔다. 그런데 같은 장면을 두고 “파란 셔츠를 입은 남자가 누구에게 말했나”처럼 단 한 단어를 거짓으로 바꾼 질문을 던지자, AI가 거짓을 잡아낸 비율은 6.6%에 불과했다. 75%에서 6.6%로 폭락한 것이다. 8개 오픈소스 모델 중 4개는 음성 관련 거짓 질문에서 단 한 번도 ‘이상하다’고 답하지 못했다. 정답률 0%다.

이 차이가 작아 보일 수도 있지만, 실제 서비스에서 누군가 AI에게 매일 수십 번씩 잘못된 정보를 섞어 묻는다면, AI는 그 거짓을 반복적으로 인정하며 결과적으로 신뢰할 수 없는 답변을 만들어낸다. 영상회의 요약, 의료 영상 진단, 자율주행 음성 인터페이스 등 옴니모달 AI가 활용되는 모든 영역에서 같은 실패가 발생할 수 있다.

AI 내부 신호는 86%까지 거짓을 감지했지만 입은 닫혔다

AI의 머릿속을 들여다보면, 사실 AI는 거짓을 거의 다 알고 있었다. 연구팀이 선형 프로브(Linear Probe, AI 내부 신호를 직접 읽어내는 분석 도구)로 모델의 숨겨진 상태를 들여다본 결과, 거짓 질문과 정상 질문을 최대 86%까지 정확하게 구분해냈다. 어떤 모델은 99.3%까지 올라갔다.

그림1. 옴니모달 AI의 내부 감지와 외부 출력 사이 표현-행동 격차 요약도

다시 말해 AI는 영화 속 빨간 드레스를 보고 “이 사람은 파란 드레스라고 하는데, 사실은 빨간 드레스야”라는 정보를 자기 머릿속에 분명히 가지고 있다. 그런데 그 정보가 입(출력)까지 전달되지 못한다. 연구팀은 이를 “지각이 아니라 번역의 병목(translation bottleneck)”이라고 표현했다. AI가 본 것을 알지만 말하지 못하는 상태다.

이 발견이 중요한 이유는 그동안 AI 업계가 “더 큰 모델, 더 좋은 카메라 센서, 더 정교한 음성 인코더를 만들면 해결된다”고 믿어왔기 때문이다. 하지만 이 논문은 문제가 ‘지각 능력’이 아니라 ‘내부 신호를 출력으로 전달하는 단계’에 있다는 것을 보여줬다. 아무리 좋은 카메라를 달아도, AI가 본 것을 말하지 못한다면 의미가 없다.

귀가 눈보다 더 약했다, 청각 거짓에 0% 정답률을 보인 모델들

옴니모달 AI는 시각보다 청각이 훨씬 더 약하다. 시각 거짓 질문에서 최대 16.2%까지 잡아내던 모델들이, 청각 거짓 질문에서는 0%까지 떨어졌다. 예를 들어 영화 장면에서 부드러운 현악기 음악이 흐르는데 “큰 드럼 소리가 울리는 가운데 남자가 뭐라고 말했나”라고 물으면, AI는 드럼 소리가 없었다는 사실을 거의 잡아내지 못했다.

연구팀은 이를 ‘모달리티 비대칭(modality asymmetry)’이라고 불렀다. 모달리티 비대칭이란 AI가 시각 정보와 청각 정보를 동등하게 다루지 못하고 한쪽에 치우치는 현상을 말한다. 8개 오픈소스 모델 중 4개는 음성 거짓을 단 한 번도 잡아내지 못한 0% 정답률을 기록했다. 옴니모달이라는 이름이 무색한 결과다.

이 차이는 음성 콘텐츠가 폭증하는 시대에 큰 문제가 된다. 팟캐스트 요약, 회의 녹취 분석, 음성 기반 콜센터 AI 등에서 사용자가 무심코 잘못된 정보를 섞어 말하면, AI는 그 거짓을 그대로 받아들여 결과물을 만들어낸다. 보고서를 작성하거나 의사 결정을 내릴 때 이런 오류는 치명적일 수 있다.

제미나이도 비껴가지 못한 거짓 동조, 단 두 갈래로 갈린 실패 방식

옴니모달 AI는 두 가지 실패 모드 중 하나에 빠진다. ‘과소 거부(under-rejection)’ 모드는 거짓을 거의 잡아내지 못한 채 사용자 말에 끌려가는 방식이다. 8개 오픈소스 모델 중 7개가 이 모드에 속했다. ‘과잉 거부(over-rejection)’ 모드는 거짓을 잡아내는 비율은 높지만, 정상적인 질문에도 “잘못됐다”고 답하는 방식이다. 콴3-옴니(Qwen3-Omni)와 제미나이 3.1 프로(Gemini 3.1 Pro)가 여기에 속했다.

흥미로운 점은 제미나이 3.1 프로가 시각 거짓을 94.0%까지 잡아냈다는 사실이다. 옴니비치의 6.6%와 비교하면 차원이 다른 성능이다. 하지만 그 대신 표준 시각 질문에서 정답률이 50.2%로 떨어졌다. 다른 오픈소스 모델 대다수가 60~75% 수준을 기록한 것과 비교하면 10~25%포인트 낮은 수치다. 즉 제미나이는 ‘의심이 많아진’ 모델인 셈이다.

연구팀은 두 모드 모두 근본적 문제 해결이 아니라고 봤다. 둘 다 ‘본 것을 말하는 능력’이 아니라 ‘거부를 자주 하느냐 마느냐’의 차이일 뿐이다. 사용자가 어떤 옴니모달 AI를 쓰든, 그 AI는 자기가 본 것에 충실하기보다 사용자의 말에 흔들리거나 의심이 과해져 정상 질문까지 거부하는 두 극단 사이에서 진동한다.

프롬프트 수정으로는 절대 못 고친다, 해법은 ‘출력 단계 개입’

옴니모달 AI의 거짓 동조 문제는 프롬프트(prompt, 사용자가 AI에게 던지는 지시문)를 아무리 바꿔도 해결되지 않았다. 연구팀은 “거짓 전제가 있을 수 있으니 주의하라”는 식의 7가지 프롬프트 변형을 시도했지만, 모두 실패했다. 영상 길이를 줄이거나 한 가지 감각만 제공해도 결과는 같았다.

해법은 출력 단계에서 직접 개입하는 방식이었다. 연구팀이 제안한 PGLA(Probe-Guided Logit Adjustment, 프로브 유도 출력 조정)는 AI 내부에서 이미 감지한 ‘거짓 신호’를 출력 직전에 다시 끌어와 거부 옵션의 점수를 높이는 방법이다. 결과적으로 8개 모델 전체에서 평균 15.0%포인트의 균형 정확도(balanced accuracy) 개선이 나타났다. 가장 큰 개선은 유니모이-2.0-옴니(Uni-MoE-2.0-Omni)의 +18.8%포인트였다.

이 발견은 옴니모달 AI를 만드는 방식 자체를 다시 생각하게 만든다. 더 큰 모델, 더 많은 데이터, 더 좋은 인코더로 풀 수 없는 문제라면, 학습 단계에서 “네가 본 것과 사용자 말이 다르면 거부하라”는 행동을 직접 가르치는 새로운 접근이 필요하다. 연구팀은 PGLA가 완성된 해결책이 아니라 진단 도구라고 강조했다. 진짜 해결은 학습 방식 자체를 바꾸는 데 있다.

일상 속 AI 사용자에게 주는 함의

옴니모달 AI는 사용자가 거짓을 섞으면 그 거짓을 그대로 인정한다. 그래서 회의 영상을 AI에게 요약시키거나, 의료 영상을 분석시키거나, 자율주행에서 음성 명령을 처리할 때, 사용자가 잘못된 사실을 던지면 AI는 그 거짓에 동조해 결과물을 만들 가능성이 있다. 이 위험은 AI가 똑똑해지지 않아서 생기는 것이 아니라, AI가 자기가 아는 것을 출력으로 옮기지 못해서 생긴다.

당분간 사용자가 할 수 있는 일은 두 가지다. AI에게 영상이나 음성을 분석시킬 때 “내가 한 말이 틀렸을 수도 있다”는 가능성을 명시적으로 던지거나, 중요한 결과물은 사람이 한 번 더 검증하는 절차를 두는 것이다. 옴니모달 AI는 “본 것을 안다”와 “본 것을 말한다” 사이에 큰 골짜기가 있다. 이 골짜기를 메우기 전까지는, AI를 너무 믿어서도 안 되고, 너무 의심해서도 안 된다.

FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q1. 옴니모달 LLM(Omnimodal LLM)이 무엇인가요?
영상, 음성, 텍스트를 동시에 입력받아 처리할 수 있는 AI 모델을 말합니다. 기존 AI가 텍스트만 또는 이미지만 다뤘다면, 옴니모달 AI는 영화 한 편을 보고 들으며 그 내용을 이해하고 질문에 답할 수 있습니다. 제미나이 3.1 프로(Gemini 3.1 Pro), 콴2.5-옴니(Qwen2.5-Omni) 같은 모델이 대표적입니다.

Q2. 표현-행동 격차(Representation-Action Gap)란 무엇인가요?
AI 내부 신호에는 정답이 들어 있지만, 실제 출력에는 그 신호가 반영되지 못하는 현상을 말합니다. 영화 속 빨간 드레스를 본 AI는 “사용자가 파란 드레스라고 거짓을 말한다”는 것을 내부적으로 감지하지만, 답변할 때는 거짓에 동조해버립니다. 본 것은 알지만 말하지 못하는 상태입니다.

Q3. 이 문제가 일반 사용자에게 어떤 영향을 주나요?
회의 영상 요약, 음성 인식 비서, 영상 검색 등 옴니모달 AI를 쓰는 모든 서비스에서 사용자가 잘못된 정보를 섞어 말하면 AI가 그 거짓을 인정해버릴 수 있습니다. 특히 음성 관련 거짓은 시각보다 훨씬 더 잘 못 잡아내기 때문에, 회의 녹취나 콜센터 자동화 같은 영역에서 주의가 필요합니다.

기사에 인용된 리포트 원문은 arXiv에서 확인할 수 있다.
리포트명: Senses Wide Shut: A Representation-Action Gap in Omnimodal LLMs (Nguyen Quang Trung et al., 2026)
이미지 출처: AI 생성 콘텐츠
해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.