모델은 그대로 두고 실행 방식만 바꿨더니…ARC-AGI-3 점수 42%에서 99%로

현지 시각 7월 15일 임파서블 리서치(Impossible Research)와 UC 버클리, 카네기멜런대 공동 연구진이 AI 에이전트 하네스 ‘스키마(Schema)’를 공개했다. 하네스는 모델을 실제 작업에 연결해 주는 실행 구조를 가리키는데, 연구진은 모델 가중치를 전혀 손대지 않고 하네스만 바꿔 ARC-AGI-3 점수를 크게 올렸다고 밝혔다.

ARC-AGI-3는 AI가 처음 보는 게임을 사람만큼 효율적으로 풀어내는지 재는 시험이다. 점수 지표인 RHAE는 같은 레벨을 사람이 쓴 행동 수와 에이전트가 쓴 행동 수의 비율을 제곱해 계산하며, 100%가 사람과 동등한 수준이다.

핵심 수치는 같은 모델을 두고 하네스만 바꿔 비교한 결과를 말한다. 클로드 오퍼스 4.8과 페이블 5를 범용 하네스인 클로드 코드로 돌렸을 때 42.83%였던 점수가, 스키마로 바꾸자 98.98%로 높아졌다. GPT-5.6 솔은 95.35%를 기록했다.

스키마는 세 가지를 강제한다. 모델이 게임 세계를 실행 가능한 프로그램으로 직접 적어 내려가게 하고, 그 프로그램을 계획에 쓰기 전에 지금까지 관찰한 모든 변화에 대해 되돌려 검증하게 하며, 예측이 한 번이라도 빗나가면 남은 계획을 즉시 버리게 한다. 연구진은 이를 두고 모델이 물리학자처럼 가설을 세우고 검증하도록 만든 것이라고 설명했다.

M0R0 게임 4단계에서 에이전트는 42번 움직여 사람의 500번을 크게 밑돌았고, RE86에서는 관찰한 393개 변화를 하나도 틀리지 않고 재현한 뒤 61번의 행동으로 짜인 계획 하나로 단계를 통과했다. 25개 게임 중 14개에서 사람보다 1.6배에서 5배 적은 행동으로 문제를 풀었다.

다만 연구진은 검증 상태를 분명히 밝혀 뒀다. 98.98%와 95.35%는 공개 문제 25개에 대한 자체 보고 수치이며, ARC Prize의 독립 검증을 받지 않았다는 것이다. 두 점수 모두 한 모델을 한 번 돌려 얻은 결과가 아니라, 80점에 못 미친 게임만 다른 모델로 다시 돌려 더 높은 쪽을 채택한 값이기도 하다. 연구진은 준공개 문제에서 어떤 점수가 나올지는 측정하기 전까지 알 수 없다고 적었다.

자세한 내용은 스키마 공식 프로젝트 페이지(Schema)에서 확인할 수 있다.

이미지 출처: ARC Prize