책임 AI 논문을 가장 많이 발표하는 나라는 미국이 아니다. 중국은 2024년 한 해 812편의 책임 AI 관련 논문을 발표해, 394편에 그친 미국의 두 배를 웃돌았다. 그런데도 같은 기간 전 세계 AI 사고 건수는 전년도 233건에서 362건으로 55% 이상 늘었다. 연구는 쌓이는데 사고는 줄지 않는 현상이다. 스탠퍼드 대학교 인간중심 AI연구소(HAI)가 2026년 4월 발표한 「AI 인덱스 리포트 2026(AI Index Report 2026)」 책임 AI 챕터는 이 불편한 간극을 데이터로 기록한다.
AI 사고 362건, 역대 최고치를 기록했다
2025년 한 해 동안 공식 집계된 AI 관련 사고는 362건이다. 전년도 233건에서 55% 이상 증가한 수치로, AI 인시던트 데이터베이스(AI Incident Database)가 기록한 역대 최고치다. 여기서 사고(Incident)란 AI 시스템이 의도치 않은 방식으로 작동해 실제 피해나 위험을 초래한 사례를 말한다. 하루 평균 한 건 꼴의 AI 사고가 발생하고 있는 셈이다.
이 숫자는 단순한 기술 결함의 증가가 아니다. AI 시스템이 의료, 금융, 법률, 채용 등 실제 삶에 영향을 미치는 영역에 빠르게 침투하면서 오류의 파급 범위도 넓어지고 있다는 신호다. 사고 건수가 늘어났다고 해서 AI가 더 위험해졌다고 단정할 수 없지만, AI 활용 범위가 넓어진 만큼 위험 노출 면적 또한 그에 비례해 확대되고 있다는 것은 부정하기 어렵다.
환각률 22%~94%, 안전과 성능 사이의 딜레마
사고 증가의 한 축에는 AI 모델의 고질적 문제인 환각(Hallucination)이 있다. 환각이란 AI가 실제로 존재하지 않거나 사실이 아닌 정보를 마치 사실인 것처럼 생성하는 현상이다. 리포트에 따르면 주요 26개 AI 모델의 환각률은 최저 22%에서 최고 94%에 달한다. 같은 종류의 AI 모델이라도 어떤 제품을 선택하느냐에 따라 출력 신뢰도가 극단적으로 달라진다는 의미다.
더 주목할 만한 데이터는 안전성 강화가 성능을 떨어뜨리는 트레이드오프(Trade-off)다. 유해 콘텐츠 차단이나 편향 감소 같은 안전 장치를 강화했을 때 같은 모델의 정확도가 급격히 하락하는 현상이 리포트에서 확인된다. 오픈AI(OpenAI)의 GPT-4o는 안전 조치 적용 후 특정 벤치마크 정확도가 98.2%에서 64.4%로 떨어졌고, 딥시크(DeepSeek)의 R1 모델은 90% 이상에서 14.4%까지 하락했다. 숫자만 보면 충격적이지만 의미는 단순하다. ‘착하게 만드는 과정’에서 AI가 ‘유용함’을 잃어버리는 딜레마가 현재 책임 AI 연구의 최대 난제라는 것이다.
안전을 강화하면 성능이 떨어지고, 성능을 높이면 안전이 위협받는다. 이 두 가지를 동시에 잡으려는 연구가 바로 전 세계에서 쏟아져 나오는 책임 AI 논문들이지만, 해법은 아직 완전하지 않다. 기업들이 책임 AI 정책을 아예 갖추지 않은 비율이 24%에서 11%로 줄어든 것은 분명 개선의 신호다. 그러나 정책이 있다는 것과 그 정책이 실제로 작동한다는 것은 다른 이야기다.
투명성 지수 40점, 능력이 가장 높은 AI가 가장 적게 말한다
책임 AI의 또 다른 핵심 지표는 투명성이다. 스탠퍼드 HAI가 추적하는 프론티어 모델 투명성 지수(Foundation Model Transparency Index)는 2025년 평균 40점으로, 전년도 58점에서 크게 하락했다. 100점 만점 기준으로 AI 능력이 역대 최고 수준에 도달하는 동안 AI 시스템에 대한 공개 정보는 오히려 줄어들었다는 뜻이다.
더욱 역설적인 것은 투명성 점수와 모델 능력 사이의 관계다. 리포트는 가장 능력이 뛰어난 프론티어 모델일수록 훈련 데이터, 연산 자원, 성능, 위험성, 이용 정책에 대해 가장 적게 공개하는 경향이 있다고 밝힌다. 능력 벤치마크(MMLU, SWE-bench 등)는 거의 모든 기업이 공개하지만, 책임 AI 관련 벤치마크 결과는 공개 비율이 낮고 일관성도 없다.
이 괴리는 단순한 기업 비밀 보호의 문제가 아니다. 투명성이 낮다는 것은 외부 연구자, 규제 기관, 일반 사용자가 AI 시스템의 실제 위험을 평가하기 어렵다는 것을 의미한다. 사고가 발생했을 때 원인을 추적하거나 책임 소재를 따지기도 그만큼 어려워진다. 가장 강력한 AI 도구일수록 그것이 어떻게 만들어졌는지, 어떤 위험을 내포하는지 알기 더 어려운 구조가 고착화되고 있는 셈이다.
연구 1위 중국, 그래도 사고는 줄지 않은 이유
책임 AI 논문 수에서 중국이 미국의 두 배를 앞서는 현상은 중국의 연구력만을 보여주는 게 아니다. 책임 AI가 이미 전 세계적으로 전략적 연구 과제가 됐다는 신호다. 한국도 이 분야에서 57편으로 세계 8위에 이름을 올렸다. AI 기술 강국 순위와는 다른 축에서 한국의 연구 기여가 인정받고 있다는 점은 눈여겨볼 만하다.
그런데 이 연구량의 성장이 실제 AI 사고 감소로 이어지지 않는 이유는 무엇인가. 하나의 해석은 시차(Time Lag)다. 연구 성과가 실제 모델에 반영되고, 상용 제품에 적용되며, 사용자에게 도달하기까지는 상당한 시간이 걸린다. 또 다른 해석은 AI 배포 속도가 안전 연구 속도를 앞서고 있다는 것이다. 연구는 실험실에서 진행되지만, AI는 이미 병원, 법원, 채용 시스템에서 매일 작동하고 있다.
AI 능력의 성장이 가속화하는 시대에, 그 능력이 어디서 왔는지 알 권리는 기술을 개발하는 연구자만의 것이 아니다. 서비스를 쓰는 사람, 규제를 만드는 사람, AI가 내린 결정의 영향을 받는 사람 모두에게 해당하는 문제다. 투명성 지수가 58점에서 40점으로 떨어지는 동안, 그 AI를 매일 사용하는 사람들은 이전보다 덜 알고 있는 것을 사용하고 있다는 점은 두고 볼 필요가 있다.
편집자주
스탠퍼드 대학교 인간중심AI연구소(HAI)가 매년 발행하는 「AI 인덱스 리포트(AI Index Report)」는 AI 기술 성능부터 경제·노동·교육·정책·여론까지 400페이지 이상의 데이터로 AI의 현재를 기록하는 연간 보고서다. 2026년판은 9번째 에디션으로, 단일 기사로 소화하기에는 챕터별 인사이트가 너무 방대하고 독자층도 다르다. 기술 성능에 관심 있는 개발자와 고용 충격이 궁금한 취업 준비생이 같은 기사를 읽을 필요는 없다. AI 매터스는 이 리포트를 챕터별로 나눠 총 6편의 시리즈로 연재한다. ① 기술 성능 ② 경제·노동 ③ 책임 AI ④ 연구개발·인프라 ⑤ 과학·의학 ⑥ 교육·여론·정책 순으로 발행하며, 각 편은 독립적으로 읽을 수 있다.
FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)
Q. AI 사고(AI Incident)란 정확히 무엇을 말하나요?
AI 사고란 AI 시스템이 의도치 않은 방식으로 작동해 실제 피해나 위험을 초래한 사례를 말합니다. AI 인시던트 데이터베이스(AI Incident Database)가 전 세계 공개 보고 사례를 수집·분류하며, 2025년에는 한 해 동안 362건이 기록됐습니다. 의료 오진, 채용 차별, 금융 오류 등 실생활 전반에 걸쳐 다양한 유형의 사고가 포함됩니다.
Q. AI 모델의 환각(Hallucination) 문제는 어떻게 확인할 수 있나요?
AI 환각이란 모델이 사실이 아닌 정보를 사실인 것처럼 생성하는 현상입니다. 스탠퍼드 AI 인덱스 2026에 따르면 주요 26개 모델의 환각률은 22%에서 94%까지 다양합니다. 중요한 정보를 AI에 의존해 확인할 때는 출처를 별도로 검증하는 습관이 필요하며, 환각률 수치가 낮은 모델을 선택하는 것도 실질적인 대응 방법입니다.
Q. 프론티어 모델 투명성 지수가 낮아지면 일반 사용자에게 어떤 영향이 있나요?
투명성 지수가 낮다는 것은 AI 시스템의 훈련 방식, 데이터 출처, 위험성 등 핵심 정보를 외부에서 확인하기 어렵다는 의미입니다. 사고 발생 시 원인 추적과 책임 소재 파악이 힘들어지고, 규제 기관의 감시 기능도 약해집니다. 2026 AI 인덱스 리포트는 이 지수가 전년 58점에서 40점으로 하락했다고 밝히고 있습니다. 사용자 입장에서는 자신이 쓰는 AI 서비스가 어떤 데이터로 학습했는지, 어떤 위험이 있는지 확인할 수단이 줄어드는 것을 의미합니다.
기사에 인용된 리포트 원문은 Stanford HAI에서 확인할 수 있다.
리포트명: 2026 AI Index Report
이미지 출처: AI 생성 콘텐츠
해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.
