구글 딥마인드 연구진이 AI 성능을 평가하는 새로운 방법을 개발했다. 해당 논문에 따르면, 기존에는 AI 모델 하나를 제대로 평가하려면 수천만 원이 들었지만, 이 방법을 쓰면 비용을 10분의 1 수준으로 줄일 수 있다. 비결은 간단하다. 모든 시험을 다 보는 대신, 중요한 시험만 골라서 보는 것이다.
AI 평가, 왜 이렇게 돈이 많이 들까?
요즘 AI는 점점 똑똑해지고 있다. 챗GPT 같은 대규모 언어모델은 수학 문제도 풀고, 프로그래밍도 하고, 질문에 답변도 한다. 이렇게 여러 가지 일을 잘하는지 확인하려면 그만큼 많은 시험을 봐야 한다.
문제는 비용이다. AI 모델의 종합 성능을 평가하는 HELM이라는 시스템으로 모델 하나를 완전히 평가하면 수천 달러, 한국 돈으로 수백만 원에서 수천만 원이 든다. 이렇게 비싼 이유는 뭘까? 평가해야 할 작업이 너무 많고, 작업마다 여러 번 테스트해야 정확한 결과가 나오기 때문이다.
게임으로 AI를 평가할 때도 마찬가지다. 옛날 아타리 게임으로 AI를 평가하는 경우, 하나가 아닌 50개가 넘는 게임을 해야 한다. 게임마다 수천 번씩 플레이해서 평균 점수를 내야 하니 시간과 컴퓨터 자원이 엄청나게 든다. 연구진은 “AI가 여러 일을 잘하는지 확인하려면 평가 항목이 많아지는데, 이 모든 걸 다 평가하면 자원이 낭비된다”고 지적했다.
똑똑한 평가 방법의 핵심? 필요한 것만 골라서 테스트
연구진이 제안한 방법은 기존 방식과 완전히 다르다. 기존에는 미리 준비된 모든 시험을 다 봤다면, 새 방법은 AI가 어떤 시험을 볼지 스스로 선택한다. 마치 학생의 실력을 파악하기 위해 모든 과목 시험을 다 보는 대신, 몇 개 과목만 전략적으로 골라서 보는 것과 비슷하다.
구체적으로 이렇게 진행된다. 매번 평가할 때마다 프로그램이 “어떤 작업을 테스트할까?”와 “어떤 AI 모델 두 개를 비교할까?”를 결정한다. 선택한 작업에서 두 모델의 점수를 확인하고, 이 정보로 전체 순위를 업데이트한다. 이 과정을 반복하면서 점점 정확한 순위를 찾아간다.
연구진은 성능을 측정하는 새로운 기준도 만들었다. 단순히 순위가 정확한지만 보는 게 아니라, 상위권 모델을 제대로 찾아내는지도 함께 본다. 실제로는 1등, 2등, 3등 모델만 알면 되는 경우가 많기 때문이다. 예를 들어 최고 성능 모델 하나만 찾는 게 목표라면 나머지 순위는 크게 중요하지 않다.
체스 등급 방식이 인공 데이터에서 우수, 새 방법은 실제 데이터에서 2배 앞서
연구진은 16가지 다른 평가 방법을 비교했다. 여기에는 체스 선수 실력을 매기는 데 쓰이는 Elo 방식, 투표 이론을 응용한 방법, 게임 이론을 활용한 방법, 그리고 최근 개발된 SCO(소프트 콘도르세 최적화)라는 방법 등이 포함됐다.
먼저 인공적으로 만든 테스트 데이터로 실험했다. AI 모델 8개와 작업 50개로 구성된 환경에서, 작업들이 비슷한 경향을 보일 때는 가장 단순한 방법들이 초반에 빠르게 좋은 결과를 냈다. 하지만 전반적으로는 Elo 방식이 꾸준히 신뢰할 만한 선택이었다. 반대로 작업들이 서로 많이 다를 때는 대표적인 작업들만 골라서 집중하는 방법이 다른 방법들을 크게 앞질렀다.
실제 아타리 게임 데이터로 실험했을 때는 결과가 달랐다. 8개 AI 모델과 57개 아타리 게임으로 테스트한 결과, SCO라는 새 방법이 가장 좋았다. 특히 SCO는 Elo 방식보다 오차가 절반 정도밖에 안 됐다. 흥미롭게도 인공 데이터에서 좋았던 단순한 방법들은 실제 데이터에서는 가장 나쁜 성능을 보였다. 이는 단순히 점수를 평균 내는 방식이 실제 상황에서는 적합하지 않을 수 있다는 뜻이다.
연구진은 복사본 모델이 있을 때 얼마나 정확한지도 테스트했다. 원래 8개 모델에 각각의 복사본 8개를 추가해 총 16개로 실험한 결과, 모든 방법에서 오차가 늘어났지만 일부 방법들은 여전히 괜찮은 성능을 유지했다.
평가 방법 하나로 AI 개발 비용 크게 줄인다
이번 연구는 AI 평가 방식을 바꿀 수 있다는 점에서 중요하다. 특히 세 가지 실용적인 의미가 있다.
첫째, 어떤 평가 방법을 쓸지는 상황에 따라 달라야 한다. 인공 데이터 실험에서는 Elo가 꾸준히 좋았지만, 실제 아타리 데이터에서는 SCO가 훨씬 나았다. 이는 평가 대상에 맞는 방법을 골라야 한다는 뜻이다. 작업들이 비슷한 패턴을 보이면 Elo나 단순 평균이 효율적이지만, 작업들이 제각각이면 대표 작업을 선별하는 방법이 더 효과적이다.
둘째, 비용을 크게 줄일 수 있다. 이 방법을 쓰면 필요한 테스트 횟수를 대폭 줄일 수 있다. 예를 들어 상위 3개 모델만 찾으려면 2000번도 안 되는 테스트로 거의 완벽한 결과를 얻을 수 있었다. 이는 모든 조합을 다 테스트하는 것보다 훨씬 효율적이다. 현재 AI 모델 평가에 수천만 원이 드는 상황에서, 이런 효율성 향상은 상당한 비용 절감으로 이어진다.
셋째, 실시간 처리와 일괄 처리 방식 중 어느 것이 나은지는 상황에 따라 다르다. 인공 데이터에서는 평균을 이용한 방법이 한꺼번에 처리하는 방식보다 빨랐지만, 아타리 실험에서는 반대였다. 실시간 처리는 계산이 간단하다는 장점이 있지만, 데이터 특성에 따라 성능이 달라질 수 있다. 따라서 평가 시스템을 만들 때 계산 효율과 정확도 사이의 균형을 잘 맞춰야 한다.
이번 연구는 AI 평가를 효율적으로 하는 기초를 제공했지만, 앞으로 더 연구할 부분도 있다. 특히 더 똑똑한 샘플링 방법, 불확실성을 고려한 선택, 작업 간 관계를 활용한 샘플링 등이 추가로 필요하다. 매우 복잡한 질문의 경우 연구진은 별도의 심층 연구 기능 사용을 권장한다.
FAQ (※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)
Q1. 똑똑한 평가 방법이란 뭔가요?
A. AI 모델을 평가할 때 미리 정해진 모든 테스트를 하는 대신, 프로그램이 매번 어떤 테스트를 할지 스스로 선택하는 방식입니다. 학생 실력을 파악하기 위해 모든 과목 시험을 다 보는 대신, 핵심 과목 몇 개만 골라서 보는 것과 비슷합니다. 이렇게 하면 테스트 횟수를 줄이면서도 정확한 순위를 알 수 있어 시간과 비용을 아낄 수 있습니다.
Q2. Elo 방식은 뭐고 왜 AI 평가에 좋은가요?
A. Elo는 원래 체스 선수의 실력을 등급으로 매기기 위해 만든 방법입니다. 두 선수가 대결한 결과를 바탕으로 각자의 등급을 계산합니다. AI 평가에서도 두 모델의 성능을 비교하는 식으로 활용할 수 있으며, 이번 연구에서 Elo는 인공 데이터 환경에서 꾸준히 좋은 성능을 보였습니다.
Q3. 이 연구가 실제로 어떤 도움이 되나요?
A. 이 연구는 AI 모델 평가 비용을 크게 줄일 수 있는 방법을 제시합니다. 현재 대규모 언어모델 하나를 제대로 평가하는 데 수백만 원에서 수천만 원이 들지만, 이 방법을 쓰면 필요한 테스트 횟수를 줄여 비용을 10분의 1 수준으로 절감할 수 있습니다. 이는 특히 예산이 적은 연구팀이나 스타트업에 큰 도움이 될 것입니다.
해당 기사에 인용된 논문 원문은 arXiv에서 확인할 수 있다.
논문명: Active Evaluation of General Agents: Problem Definition and Comparison of Baseline Algorithms
이미지 출처: 이디오그램 생성
해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.
