로봇 AI의 황당한 약점, 컵을 10cm 옮기자 100점이 0점 됐다

시험에서 95점 넘게 받던 최신 로봇 AI가, 접시를 몇 센티미터 옆으로 밀었더니 성적이 거의 0점으로 곤두박질쳤다. 미국 케이스웨스턴리저브대학교 연구진이 2026년 공개한 로봇 조작 시스템 스파크(SPARK)는 이 황당한 약점의 원인을 짚어낸다. 문제는 로봇의 계획 능력이 아니라 눈, 즉 물건을 다시 찾아내는 능력에 있었다. 집안일을 돕는 로봇이 상용화되려면 반드시 넘어야 할 벽이라, 로봇을 기다리는 일반 사용자에게도 남 일이 아니다.

위치만 바꿔도 무너지는 최상위 로봇 AI

최신 로봇 AI는 정해진 시험에서 만점에 가까운 점수를 받다가도 물건 위치가 조금만 달라지면 거의 실패한다. 오픈VLA(OpenVLA), 파이제로(π0) 같은 최신 모델은 리베로(LIBERO)라는 표준 시험에서 95% 이상을 기록한다. 그런데 같은 시험에서 물건 위치와 지시 문장을 살짝 바꾼 리베로 프로(LIBERO-PRO) 버전을 주면 점수가 0%까지 떨어졌다. 사람으로 치면 책상 위 컵을 왼쪽에서 오른쪽으로 옮겼다고 컵을 잡지 못하는 셈이다.

여기서 비전 언어 행동 모델(VLA, Vision-Language-Action)이란 카메라로 본 장면과 사람의 말을 입력받아 로봇의 움직임을 곧바로 만들어내는 AI를 말한다. 겉보기에는 똑똑해 보이지만, 연구진의 분석에 따르면 이 모델들은 장면을 이해하는 대신 특정 배치에서의 팔 움직임을 통째로 외워버린다. 그래서 물건이 외운 자리에서 벗어나면 학습하지 않은 상황이 되어 외운 동작이 빗나간다. 시험 성적표만 보면 완벽한 우등생이지만, 책상 배치를 바꾸면 아무것도 못 하는 학생인 셈이다.

95%에서 0%로, 그리고 스파크의 43.7%

스파크(SPARK)는 여섯 개의 변형 시험에서 평균 43.7%를 기록해 기존 대표 모델들을 두 배 넘게 앞섰다. 스파크는 사전 학습이 필요 없는 신경 기호형(neurosymbolic) 로봇 조작 시스템으로, AI의 언어 능력과 규칙 기반 프로그래밍을 결합한 방식을 말한다. 같은 변형 시험에서 몰모액트2(MolmoAct2)는 18.6%, 코드 방식 경쟁 시스템인 캡에이전트0(CAP-AGENT0)은 18.2%, 파이제로닷파이브(π0.5)는 12.8%에 그쳤다.

차이가 특히 벌어진 구간은 물건의 공간 위치를 바꾼 시험이었다. 여기서 스파크는 평균 64.2%를 기록해, 비슷한 성능을 낸 랫츠(RATS)의 30.0%를 두 배 이상 앞질렀다. 몇 퍼센트 차이처럼 보일 수 있지만, 로봇이 하루에 수백 번 물건을 집는 상황을 떠올리면 이야기가 달라진다. 성공률 18%와 64%는 열 번 중 두 번 성공하느냐, 여섯 번 성공하느냐의 차이이고, 이 격차가 쌓이면 실제 집안에서 쓸 수 있는 로봇이냐 아니냐를 가른다.

그림1. 작업 문장이 바뀌면 무너지는 몰모액트2와 이를 버텨내는 스파크의 성공률 비교 (출처: SPARK 논문 Figure 5)

계획을 다시 짜지 말고 물건을 다시 찾아라

스파크의 핵심 아이디어는 물건이 움직여도 해야 할 일의 순서는 그대로라는 관찰에서 출발한다. 접시를 왼쪽에 두든 오른쪽에 두든 그릇을 접시에 올린다는 계획 자체는 똑같다. 바뀌는 것은 오직 하나, 화면 속에서 그 물건이 있는 위치다. 기존 시스템들은 실패할 때마다 계획을 처음부터 다시 짜는 데 시간을 쏟았지만, 정작 틀리는 부분은 계획이 아니라 물건을 다시 찾는 눈이었다.

그래서 스파크는 남는 계산 능력을 전부 인식, 즉 물건 찾기에 투자한다. 연구진은 이 구조를 오케스트라에 빗댄다. 무대는 인식(장면 파악), 악보는 계획, 연주자는 로봇이다. 로봇은 한번 받은 악보(계획)를 계속 연주하되, 무대 위 악기의 위치가 바뀌면 악보를 새로 쓰는 대신 악기를 다시 찾아본다. 실제 작동은 이렇다. 제미나이(Gemini)가 딱 한 번 호출되어 행동 트리(behavior tree)라는 순서도 형태로 계획을 짠다. 행동 트리란 이동, 잡기, 놓기 같은 기본 동작을 순서대로 엮은 구조를 말한다. 그다음 물체 인식 AI인 샘3(SAM3)가 물건을 찾는데, 이때 한 물건에 대해 컵 손잡이, 세라믹 컵, 커피잔처럼 세 가지 다른 표현을 던져보고 가장 또렷하게 인식된 것을 고른다. 사람이 물건을 못 찾을 때 다른 단어로 바꿔 떠올리는 것과 같다.

이 다시 찾기 전략의 효과는 수치로 드러난다. 세 가지 표현을 시도하는 방식은 공간 위치 시험에서 점수를 27.7점, 물건 종류 시험에서 10.0점 끌어올렸다. 여기에 실패한 동작을 새로 인식한 위치로 다시 시도하는 복구 과정이 5점을 더했다. 무엇보다 스파크는 계획을 짜는 데 제미나이를 한 번만 부르는데, 경쟁 시스템 캡에이전트0은 한 번의 시도마다 최신 AI 모델을 아홉 번씩 호출한다. 적게 계산하고도 더 정확한 결과를 낸 것이다.

시뮬레이션을 넘어 실제 로봇 팔로

스파크는 화면 속 실험을 넘어 실제 로봇 세 종류에서 평균 68%의 성공률을 보였다. 연구진은 UR10e, 프랑카 FR3, 양팔 프랑카까지 서로 다른 로봇 팔에 똑같은 시스템을 그대로 얹었다. 재학습 없이 아홉 가지 작업을 각각 스무 번씩 시켰고, 열한 개 작업 구간에서 평균 68%가 나왔다. 인형을 그릇에 담기는 100%, 접시를 스펀지로 닦기도 100%, 쟁반에 수저 담기는 90%를 기록했다.

이 방식의 또 다른 장점은 로봇이 왜 실패했는지 사람이 읽을 수 있다는 점이다. 계획이 행동 트리라는 악보 형태로 남기 때문에, 실패하면 어느 음에서 틀렸는지가 그대로 기록된다. 잘못된 동작을 골랐는지, 물건을 잘못 봤는지, 팔이 닿지 않는 한계였는지 구분할 수 있다. 반면 움직임을 통째로 외우는 기존 VLA 모델은 실패하면 그저 엉뚱한 동작으로만 보일 뿐, 원인을 짚어낼 수 없다. 로봇을 고쳐 쓰려면 어디가 왜 틀렸는지 알아야 하는데, 스파크는 그 단서를 남긴다.

똑똑한 계획보다 정확한 눈이 먼저다

이번 연구는 로봇을 더 똑똑하게 만드는 방향에 대해 다시 생각하게 한다. 그동안 로봇 AI 경쟁은 더 큰 모델로 더 정교한 계획을 세우는 데 집중했지만, 스파크는 계획이 아니라 눈을 고치는 쪽에 자원을 몰아주는 것이 더 효율적일 수 있음을 보여준다. 다만 이 전략이 만능은 아니다. 물건 위치가 아니라 작업 목표 자체가 바뀌는 시험에서는 세 가지 표현을 시도하는 방식이 오히려 방해가 되어 점수가 14.0%까지 떨어졌다. 물건을 다시 찾는 데 특화된 전략이라, 해야 할 일이 통째로 달라지면 힘을 쓰지 못하는 것이다.

그럼에도 사전 학습이나 사람의 시범 없이 이 정도 성능을 낸다는 점은 눈여겨볼 만하다. 집집마다 물건 위치가 제각각인 현실에서, 배운 대로만 움직이는 로봇은 쓸모가 제한적일 가능성이 크다. 위치가 바뀌어도 흔들리지 않는 인식 능력이 실용 로봇의 진짜 관문일지는 앞으로 더 지켜볼 필요가 있다.

FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q. VLA 모델이 시험에서 95점을 받는데 왜 실제로는 못 쓰나요?
시험 점수는 물건이 늘 같은 자리에 있을 때의 성적입니다. 이 모델들은 장면을 이해하는 대신 특정 배치에서의 움직임을 외우기 때문에, 물건 위치가 조금만 달라지면 외운 동작이 빗나가 실패합니다.

Q. 스파크는 기존 방식과 무엇이 다른가요?
기존 방식은 실패하면 계획을 처음부터 다시 짭니다. 스파크는 계획은 그대로 두고 물건을 다시 찾는 데 집중합니다. 물건이 움직여도 해야 할 일의 순서는 바뀌지 않고, 바뀌는 것은 화면 속 물건의 위치뿐이라는 점을 이용한 것입니다.

Q. 스파크는 지금 집에서 쓸 수 있나요?
아직은 연구 단계입니다. 실제 로봇 팔 세 종류에서 평균 68%의 성공률을 보였지만, 작업 목표 자체가 바뀌는 상황에서는 성능이 떨어지는 한계가 있습니다. 상용화까지는 더 많은 검증이 필요합니다.

기사에 인용된 리포트 원문은 arXiv에서 확인할 수 있다.
리포트명: Sequential Planning via Anchored Robotic Keypoints (SPARK)
이미지 출처: AI 생성 콘텐츠
해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.