빨간불 무시? 페루 최악의 도로에서 AI와 인간 운전자의 인지력 대결

Robusto-1 Dataset: Comparing Humans and VLMs on real out-of-distribution Autonomous Driving VQA from Peru

경찰관이 빨간 신호등에도 불구하고 운전자에게 직진하라고 손짓하는 상황. 인간 운전자라면 상황을 파악하고 앞으로 나아갈 것이다. 하지만 자율주행 AI는 어떤 판단을 내릴까? 페루 리마의 인공지능 기업 아티피시오(Artificio)와 리마 공과대학교(UTEC) 연구팀은 이런 예측불가능한 상황에서 AI와 인간의 인지력 차이를 밝혀내는 흥미로운 연구를 진행했다.

“세계에서 가장 난폭한 운전자들이 있는 나라에서, AI가 인간처럼 상황을 이해할 수 있는지 알아보고 싶었습니다.” 연구의 공동 저자인 아르투로 데자(Arturo Deza)는 말했다. 페루는 세계에서 두 번째로 운전자들이 공격적이고, 라틴아메리카에서 교통체증이 가장 심하며, 세계에서 네 번째로 도로 인프라가 열악한 곳이다.

“저 오토바이가 갑자기 끼어든다면?” AI와 인간의 판단 차이

이번 연구의 가장 큰 특징은 기존 자율주행 연구에서 주로 사용하던 물체 인식이나 경로 예측 대신, 질문-응답(VQA, Visual Question Answering) 방식을 통해 인공지능과 인간의 인지적 판단력을 비교했다는 점이다. 연구팀은 페루의 세 도시(리마, 쿠스코, 카하마르카)에서 촬영한 5초 길이의 대시캠 영상 200개를 수집해 ‘로부스토-1′(Robusto-1) 데이터셋을 구축했다.

연구팀은 이 중 7개의 샘플 영상에 대해 각각 15개의 질문을 준비했다. 질문은 크게 세 유형으로 구분된다. 첫째, 영상별로 고유한 상황에 대한 변수형 질문, 둘째, 교통 상황의 위험성이나 혼잡도 등을 평가하는 객관식 질문, 셋째, “만약 사고가 났다면 어떤 상황이었을까?”와 같은 가상 상황에 대한 질문이다.

“우리는 인간과 AI가 실제로 얼마나 다르게 생각하는지 알아보고 싶었습니다. 특히 정상적인 상황이 아닌, 예측하기 어려운 상황에서 말이죠,” 라고 연구의 공동 저자인 아르투로 데자(Arturo Deza)는 설명했다.

놀라운 결과: AI는 서로 비슷했지만, 인간은 서로 너무 달랐다

연구진은 인간 참가자 9명과 6개의 주요 비전-언어 모델(VLM)인 딥시크(DeepSeek), 픽스트랄(Pixtral), 큐원2(Qwen2), 코그VLM(CogVLM), 제미나이(Gemini), 라마(Llama)를 대상으로 실험을 진행했다. 이 AI 모델들은 미국, 프랑스, 중국 등 여러 국가의 기업에서 개발된 것들이다.

가장 주목할 만한 발견은 AI 모델들이 질문 유형에 관계없이 서로 매우 유사한 응답을 보인 반면, 인간 참가자들은 특히 가상 상황에 대한 질문에서 서로 크게 다른 답변을 제시했다는 점이다. 인간들은 객관식 질문에서는 상대적으로 일치된 응답을 보였지만, 가상 상황에 관해서는 개인별로 크게 다른 판단을 내렸다.

연구진은 신경과학에서 사용되는 ‘표상 유사성 분석(RSA, Representational Similarity Analysis)’ 기법을 통해 각 시스템의 응답 패턴을 분석했다. 그 결과, 모든 AI 모델들이 서로 간에 높은 유사성(상관계수 0.82±0.10)을 보인 반면, 인간들은 가상 상황 질문에서 매우 낮은 유사성(상관계수 0.21±0.11)을 나타냈다.

“모든 AI는 비슷하지만, 모든 인간은 저마다의 방식으로 모두 다릅니다,” 라고 연구팀은 설명했다. 이는 러시아 작가 톨스토이의 유명한 문장 “행복한 가정은 모두 비슷하지만, 불행한 가정은 저마다의 이유로 불행하다”를 연상시킨다.

똑같이 생각하는 AI 모델들, 정말 안전할까?

이 연구는 자율주행차가 다양한 문화적 맥락에서 안전하게 운행할 수 있을지에 대한 중요한 질문을 던진다. 페루처럼 교통 규칙이 엄격히 지켜지지 않는 곳에서 AI가 인간처럼 유연하게 대응하지 못한다면, 예측불가능한 상황에서 사고 위험이 높아질 수 있다.

“자율주행차는 현재 미국, 영국, 유럽, 중국, 일본 등 교통 규칙이 잘 지켜지는 선진국에서 테스트되고 있습니다. 하지만 페루와 같은 신흥국에서도 안전하게 운행될 수 있어야 진정한 글로벌 기술이라고 할 수 있겠죠,” 연구팀은 말했다.

이번 연구는 AI가 단순히 교통 규칙을 따르는 것을 넘어, 인간처럼 복잡한 사회적 맥락과 문화적 뉘앙스를 이해할 수 있어야 함을 시사한다. 미래의 자율주행차는 빨간 불에 정지하는 규칙뿐만 아니라, 경찰관의 손짓이 그 규칙을 일시적으로 무효화할 수 있다는 것도 이해해야 할 것이다.


FAQ

Q: 왜 연구팀은 페루의 도로를 연구 대상으로 선택했나요?
A: 페루는 세계에서 두 번째로 운전자들이 공격적이며 라틴아메리카에서 교통체증이 가장 심한 국가입니다. 또한 세계적으로 도로 인프라 품질이 네 번째로 열악해 자율주행 AI에게는 극한의 테스트 환경이 됩니다. 이렇게 예측 불가능한 상황에서 AI가 어떻게 대응하는지 알아보기 위해 선택했습니다.

Q: VQA(Visual Question Answering)란 무엇이며 왜 이 방식으로 테스트했나요?
A: VQA는 시각적 자료(이미지나 영상)를 보고 질문에 답하는 방식입니다. 기존 자율주행 연구가 물체 인식이나 경로 예측에 초점을 맞췄다면, 이 연구는 실제 도로 상황에서 AI와 인간의 인지적 판단력 차이를 더 깊이 이해하기 위해 VQA 방식을 선택했습니다.

Q: 이 연구 결과가 자율주행차 개발에 어떤 의미가 있나요?
A: 이 연구는 자율주행 AI가 다양한 지역과 문화적 맥락에 맞게 개발되어야 함을 보여줍니다. 현재 대부분의 AI가 유사한 판단을 내리는 것은 동일한 데이터로 학습했기 때문인데, 페루와 같은 예측 불가능한 도로 환경에서 안전하게 운행하려면 더 다양한 학습 데이터와 접근법이 필요함을 시사합니다.

해당 기사에서 인용한 논문 원문은 링크에서 확인할 수 있다.

이미지 출처: 이디오그램 생성

기사는 클로드와 챗GPT를 활용해 작성되었습니다. 

관련 콘텐츠 더보기