메타 FAIR와 옥스퍼드대, 유니버시티칼리지런던 연구진은 AI 연구 선호 모델(AI Research Preference Model, RPM)을 담은 논문을 아카이브에 게재했다. 아직 실행하지 않은 실험 후보들을 미리 견줘 순위를 매기고, 그중 승자만 실제로 GPU에서 실행하는 방식이다. 논문은 8월 14일 올라왔고 9월 초 해외 매체 보도로 알려졌다.
AI 연구 에이전트는 후보를 빠르게 내놓지만, 그 후보가 통하는지 확인하려면 학습과 평가에 시간과 GPU를 써야 한다. 기존 방식은 후보 하나를 생성해 곧바로 실행했다. RPM을 붙이면 같은 작업을 15번 병렬로 적용해 실행하지 않은 후보 15개를 만든 뒤, 쌍끼리 맞붙이는 토너먼트로 비교해 승자 하나만 실행한다. 비교할 때는 이미 탐색한 실행 기록과 검증 점수를 함께 제공한다.
연구진은 방식을 두 종으로 나눴다. 추론 전용은 후보의 계획과 코드, 과거 실행 기록만 보고 순위를 매겨 GPU를 쓰지 않는다. 에이전트형은 실제 실행 환경과 같은 샌드박스에서 5분짜리 소규모 예비 실험을 직접 실행해 본 뒤 판단한다.
평가는 공개 과제 20개로 구성된 AIRS-Bench에서 과제당 H200 GPU 한 장으로 24시간, 시드 10개 조건으로 진행됐다. 후보를 무작위로 고르는 기준선이 24시간을 다 써서 도달한 0.684점을 추론 전용은 14.88시간에, 에이전트형은 15.50시간에 도달했다. 각각 1.61배와 1.55배 빨랐다. 24시간을 모두 쓴 최종 점수는 추론 전용 0.711, 에이전트형 0.729로 기준선보다 높았다.
개별 과제에서는 에이전트형이 위노그란데에서 94.1%를 기록해 논문이 인용한 이전 최고 기록 88.1%보다 높았고, 추론 전용은 SVAMP에서 95.7%로 이전 사람 최고 기록 94.2%보다 높았다. 심사 모델과 후보 생성 모델 모두 오픈웨이트인 큐원3.6-27B를 공유해, 개선분이 더 강한 심사 모델이 아니라 선택 방식 자체에서 나왔다는 점을 보이도록 설계했다.
추론에 걸리는 시간을 반영하면 24시간 실행당 0.660시간이 추가로 들어 점수가 0.708로 소폭 하락한다. 검증 범위도 AIRA-도조의 특정 단계와 단일 백본, 단일 벤치마크에 한정돼 다른 환경으로 옮겼을 때의 결과는 확인되지 않았다. 연구진은 결론에서 “연구 에이전트가 해법을 설계할 때만큼 어떤 해법을 실행할지도 신중하게 고르게 되기를 바란다”고 적었다.
자세한 내용은 아카이브 논문에서 확인할 수 있다.
이미지 출처: 메타
