AI에 시장조사 시켰더니 1등이 100점 만점에 36점…퍼플렉시티가 만든 새 시험지

퍼플렉시티가 리서치 에이전트를 평가하는 벤치마크 ‘WANDR’를 공개했다. 넓게 그리고 깊게 검색해야 한다는 뜻의 Wide ANd Deep에서 딴 이름으로, 회사 리서치 페이지에 공개된 500개 과제로 구성된다. 기업 실사나 경쟁사 분석처럼 여러 출처를 빠짐없이 모아 정리해야 하는 실무를 겨냥했다.

전체 과제를 풀려면 17만 495개 출처에 기반한 기록을 모아야 하고, 과제 하나의 중앙값은 항목 50개에 항목당 기록 4개씩 총 245개다. 난이도는 세 구간으로 나뉘어 각각 167개와 166개, 167개가 배정됐다.

1위인 퍼플렉시티 서치 애즈 코드가 소프트 F1 0.363, 하드 F1 0.133을 기록했고 2위 앤트로픽이 0.249와 0.072였다. 나머지 모델은 소프트 F1 최대 0.121, 하드 F1 최대 0.035에 머물렀다. F1은 빠뜨리지 않고 찾았는지와 틀린 것을 넣지 않았는지를 함께 보는 점수다. 노력 설정을 최대로 올린 조건에서 퍼플렉시티 점수는 0.447과 0.224까지 올라갔다.

퍼플렉시티는 과제당 5.20달러(약 7,700원)를 썼고 중앙값 14.9분이 걸렸으며 토큰 380만 개를 소비했다. 모델별 편차는 컸는데, 엑사의 저노력 설정이 과제당 0.03달러(약 45원)인 반면 제미나이 최대 설정은 324.83달러(약 48만 3,000원)까지 나왔다.

제출된 페이지 중 실제로 열리지 않는 비율이 3.2~8.9%였고 오픈AI만 23.1%로 높았다. 근거로 단 인용이 주장 전체를 뒷받침하지 못하는 비율은 57.5~86.6%였다. 중간 단계에서 찾아야 할 키가 0개에서 3개 이상으로 늘면 퍼플렉시티의 하드 정밀도는 0.392에서 0.019로 떨어졌다.

퍼플렉시티는 벤치마크를 깃허브에 오픈소스로 공개했다.

자세한 내용은 퍼플렉시티 리서치에서 확인할 수 있다.

이미지 출처: 퍼플렉시티