의료 인공지능(AI)이 CT 사진을 보고 자신 있게 틀린 진단을 내릴 때, 우리는 보통 “AI가 생각을 잘못했다”고 여긴다. 그런데 알리바바 다모 아카데미(DAMO Academy)와 홍콩과기대(광저우) 연구진이 2026년 6월 15일 공개한 보고서는 정반대의 결과를 내놓았다. 같은 오답이라도 원인은 제각각이며, 정작 마지막 추론 단계는 가장 멀쩡하다는 것이다. 연구진이 만든 진단 도구 클린할루(ClinHallu)는 의료 AI가 어디서부터 틀리기 시작하는지를 단계별로 짚어내는 첫 벤치마크다. AI 의료 환각 진단이라는 개념이 왜 환자 안전과 직결되는지, 그 핵심을 풀어본다.
같은 오답을 만드는 세 가지 다른 원인
의료 AI 환각(Hallucination)이란 AI가 실제로 없는 병변을 있다고 말하거나 근거 없는 진단을 그럴듯하게 내놓는 현상을 말한다. 클린할루의 핵심 발견은 이 환각이 항상 같은 곳에서 생기지 않는다는 점이다. 연구진은 AI가 의료 영상 질문에 답하는 과정을 세 단계로 쪼갰다. 사진에서 무엇이 보이는지 파악하는 시각 인식(Visual Recognition), 그 소견에 맞는 의학 지식을 떠올리는 지식 회상(Knowledge Recall), 둘을 합쳐 결론을 내는 추론 통합(Reasoning Integration)이다.
보고서가 든 예시가 직관적이다. 복벽과 피부 사이에 보이는 어둡게 찍힌 조직이 무엇이냐는 질문에 정답은 “지방”인데, AI는 “농양”이라는 오답을 내놓을 수 있다. 그런데 같은 오답에 이르는 경로가 세 갈래로 갈렸다. 사진을 잘못 봐서(고름이 고였다고 착각) 틀릴 수도, 지식을 잘못 떠올려서(어두운 부위는 보통 농양이라고 기억) 틀릴 수도, 멀쩡한 정보를 잘못 엮어서(정상 지방인데 병으로 해석) 틀릴 수도 있다는 것이다. 기존 평가 방식은 셋 다 그냥 “틀림”으로 묶어버린다. 어느 환자에게 어떤 처방을 내릴지 달라지는 상황인데도, 어디가 고장 났는지 알 길이 없었던 셈이다.
시각 환각이 가장 심각, 정확도 80%대 모델도 절반 가까이 헛본다
클린할루는 의료 영상 질의응답 데이터셋 네 개에서 검증을 거친 7,031개 사례로 만들어졌고, AI 모델 11종을 평가했다. 가장 두드러진 결과는 시각 인식 단계의 환각이 모든 데이터셋에서 평균 40%를 넘을 만큼 심각하다는 점이다. 쉽게 말해 AI가 사진 자체를 잘못 보는 경우가 가장 흔했다.
성능이 좋은 모델도 예외는 아니었다. 가장 우수했던 제미나이 3 플래시(Gemini-3-Flash)는 평균 정답률 80.1%를 기록했지만 시각 환각률은 25.8%에 달했다. 네 번 중 한 번꼴로 영상을 잘못 본다는 뜻이다. 오픈소스 모델인 큐원2.5-VL-7B(Qwen2.5-VL-7B)는 시각 환각률이 65.9%로, 사진을 제대로 보는 경우가 오히려 적었다. 이 수치가 무서운 이유는 단순하다. AI는 헛본 것을 헛봤다고 말하지 않고, 멀쩡한 진단처럼 자신 있게 제시하기 때문이다. 진단 한 건의 오류가 수천 명의 검진에 누적되면, 보이지 않는 곳에서 오진의 규모가 불어난다.
흥미로운 점은 병목이 데이터 종류마다 다르다는 것이다. 일반 방사선 영상(VQA-RAD)에서는 시각 인식이 발목을 잡았지만, 전문의 수준 문제(MedXpertQA)에서는 지식 회상 환각이 43.1%까지 치솟으며 가장 큰 약점이 됐다. 어려운 문제일수록 잘 보는 것보다 정확히 아는 것이 관건이 되는 셈이다.
단계를 바꿔 끼워 범인을 잡아내는 실험
클린할루가 다른 벤치마크와 갈리는 지점은 단계 교체 개입(Stage Replacement Intervention)이라는 방법이다. AI가 만든 추론 단계 중 하나를 정답 단계로 바꿔 끼운 뒤, 최종 답이 얼마나 좋아지는지를 측정하는 방식이다. 마치 고장 난 기계의 부품을 하나씩 정상품으로 갈아 끼워 어느 부품이 진짜 문제인지 찾아내는 것과 같다.
결과는 분명했다. VQA-RAD에서 시각 인식 단계만 정답으로 바꿔주자 정답률이 15.5% 올랐는데, 지식 단계를 바꿨을 때의 4.6%보다 세 배 이상 컸다. 반대로 MedXpertQA에서는 지식 단계를 바꿨을 때 정답률이 33.4% 뛰어, 시각 보정(13.8%)을 압도했다. 틀린 답을 바로잡은 비율로 봐도 VQA-RAD는 시각 보정이 오답의 73%를 고쳤고, MedXpertQA는 지식 보정이 64%를 고쳤다. 어디를 손봐야 가장 효과가 큰지가 데이터마다 정확히 갈린 것이다.
그림1. 단계 교체에 따른 데이터셋별 오답 교정·오류 유발 비율 (출처: ClinHallu, Figure 4)
정작 멀쩡한 추론, 고쳐야 할 곳은 보는 눈과 아는 지식
이 보고서가 통념을 뒤집는 대목이 바로 여기다. 흔히 AI의 오답은 “논리적 추론이 약하기 때문”이라고 생각하지만, 데이터는 반대를 가리켰다. 추론 통합 단계의 환각률은 대부분의 모델과 데이터셋에서 시각이나 지식 단계보다 일관되게 낮았다. 시각과 지식 두 단계를 모두 정답으로 바꿔주면 정답률이 가장 크게 올랐다는 사실은, 결국 AI가 마지막에 생각을 엮는 능력 자체는 꽤 쓸 만하다는 뜻이다. 문제는 그 앞 단계, 즉 제대로 보고 정확히 아는 데서 이미 어긋난다는 것이다.
해법의 실마리도 같은 자리에서 나왔다. 연구진이 단계별 추론 과정을 학습 데이터로 삼아 큐원3.5-9B(Qwen3.5-9B) 모델을 추가 훈련했더니, 정답만 학습시켰을 때보다 환각이 더 효과적으로 줄었다. 시각과 지식, 추론을 모두 포함한 전체 과정을 가르쳤을 때 정답률은 가장 높았고 환각률은 가장 낮았다. 어디서 틀리는지를 알면 그 지점을 겨냥해 고칠 수 있다는, 진단의 가치를 그대로 보여준 결과다.
진단이 곧 신뢰의 출발점
클린할루의 의미는 의료 AI를 평가하는 질문 자체를 바꿨다는 데 있을 가능성이 크다. “맞았나 틀렸나”에서 “어디서 틀렸나”로 초점을 옮기면, 같은 정답률을 가진 두 모델이라도 한쪽은 눈을 고쳐야 하고 다른 쪽은 지식을 보강해야 한다는 처방이 가능해진다. 다만 연구진도 밝혔듯 이번 평가는 비교적 통제된 의료 영상 질의응답에 한정돼 있고, 실제 진료 현장의 장문 판독이나 복합 의사결정까지 그대로 적용되는지는 두고 볼 필요가 있다. 그럼에도 AI 의료 환각 진단을 단계 단위로 쪼개 본 이 시도는, 병원에서 AI를 믿고 쓰기 위해 무엇부터 검증해야 하는지를 구체적으로 제시했다는 점에서 눈여겨볼 만하다.
FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)
Q. 의료 AI 환각이 무엇인가요?
의료 AI 환각은 인공지능이 실제로 존재하지 않는 병변을 있다고 말하거나, 근거 없는 진단을 마치 사실처럼 자신 있게 제시하는 현상을 뜻합니다. 진단을 오도해 환자 안전을 위협할 수 있어 의료 AI의 가장 큰 신뢰성 문제로 꼽힙니다.
Q. 클린할루(ClinHallu)는 기존 평가 도구와 무엇이 다른가요?
기존 도구가 AI의 최종 답이 맞았는지 틀렸는지만 판단했다면, 클린할루는 답에 이르는 과정을 시각 인식, 지식 회상, 추론 통합 세 단계로 나눠 어느 단계에서 오류가 시작됐는지를 진단합니다. 같은 오답이라도 원인을 구분해낼 수 있다는 점이 핵심입니다.
Q. 이 연구 결과가 일반인에게 왜 중요한가요?
앞으로 병원에서 AI 진단 보조 도구를 쓸 때, 그 AI가 정확히 어디서 실수하기 쉬운지를 알면 더 안전하게 활용할 수 있습니다. 특히 성능이 좋은 AI도 영상을 잘못 보는 경우가 적지 않다는 사실은, AI 판독을 사람이 다시 확인하는 절차가 왜 필요한지를 보여줍니다.
기사에 인용된 리포트 원문은 arXiv에서 확인할 수 있다.
리포트명: ClinHallu: A Benchmark for Diagnosing Stage-wise Hallucinations in Medical MLLM Reasoning
이미지 출처: AI 생성 콘텐츠, ClinHallu
해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.
