제품을 내놓기 전에 가상의 사용자 집단에게 먼저 써보게 하는 시뮬레이션 환경 ‘매트레이스’가 8월 4일 arXiv에 공개됐다. 90여 명이 함께 쓴 논문이며 던 송 교수가 마지막 저자로 참여했다.
규모는 페르소나 기록 83억 개다. 페르소나는 사람 한 명의 특성을 1,290개 항목으로 적어 둔 기록을 말하며, 실제 사람이 아니라 데이터다. 연구진은 항목끼리의 상관관계를 유지하는 의존성 그래프에서 표본을 뽑거나 사람이 쓴 프로필에서 끌어냈다. 이 가운데 품질 검사를 통과해 공개한 묶음이 약 100만 개이고, 사람 자료에 기반한 것이 59만 9,847개, 완전히 합성한 것이 40만 개다.
시험 환경은 설문과 AI 챗봇, 웹, 앱 네 가지이며 커머스와 소프트웨어, 금융, 헬스케어 등 25개가 넘는 분야에서 응용 과제 1,010개를 마련했다. 가격을 올렸을 때 얼마나 망설이는지, AI 비서가 한 번 실패한 뒤에도 계속 쓸 생각이 있는지, 응답이 느려지는 것을 어디까지 참는지 같은 반응 차이를 잡아내는 것이 목적이다.
검증은 1만 8,189회 시행됐다. 행동 특성 10가지를 네 가지 환경으로 확인한 통제 실험 400회 가운데 366회에서 미리 지정한 행동이 실제로 나타나거나 올바르게 억제됐다. 91.5%인 이 값은 페르소나가 지시를 따랐는지를 본 것이지 실제 사람의 반응을 얼마나 정확히 맞혔는지를 잰 값은 아니다. 페르소나를 움직인 모델은 클로드 오퍼스 4.8과 GPT-5.5, 클로드 하이쿠 4.5 세 가지다.
자세한 내용은 arXiv에서 확인할 수 있다.
이미지 출처: 매트레이스
