인공지능(AI)이 인공지능을 평가한다? 메타 AI 연구진, 혁신적인 ‘Self-Taught Evaluator’ 방식 제안

인공지능(AI) 기술이 빠르게 발전하면서 AI 모델의 성능을 정확하게 평가하는 것이 중요한 과제로 떠올랐다. 특히 대규모 언어 모델(LLM)의 등장으로 AI의 능력이 비약적으로 향상되면서, 이를 제대로 평가할 수 있는 방법론 개발의 필요성이 더욱 커졌다. 이런 상황에서 메타 AI 연구소의 연구진들이 획기적인 AI 평가 모델 개발 방식을 제안해 주목받고 있다.

연구진이 제안한 ‘Self-Taught Evaluator'(자가 학습 평가자) 방식은 인간의 평가 데이터 없이도 AI 스스로 학습해 평가 능력을 향상시킬 수 있다는 점에서 혁신적이다. 이 방식은 AI가 스스로 학습 데이터를 생성하고 평가하는 과정을 반복함으로써 평가 능력을 높여나간다. 연구진은 이 방식을 통해 라마3-70B-인스트럭트(Llama3-70B-Instruct) 모델의 평가 정확도를 크게 향상시키는 데 성공했다.

AI 평가 모델은 AI 개발 과정 전반에 걸쳐 중요한 역할을 한다. AI 모델을 훈련할 때 보상 모델(reward model)로 사용되거나, 인간 평가를 대체하는 용도로 활용된다. 따라서 평가 모델의 성능이 높아질수록 전반적인 AI 기술 발전에 긍정적인 영향을 미칠 수 있다.

그동안 AI 평가 모델을 개발하는 일반적인 방식은 대량의 인간 평가 데이터를 수집해 이를 바탕으로 AI를 훈련시키는 것이었다. 하지만 이 방식에는 여러 한계가 있었다. 우선 양질의 인간 평가 데이터를 수집하는 데 많은 비용과 시간이 소요된다. 특히 코딩이나 수학 같은 전문적인 분야에서는 전문가의 평가가 필요해 더욱 어려움이 컸다.

또한 AI 기술이 빠르게 발전하면서 기존의 평가 데이터가 금세 낡은 것이 되어버리는 문제도 있었다. 새로운 AI 모델이 이전 모델보다 뛰어난 성능을 보이면, 이전 모델의 응답을 기준으로 만들어진 평가 데이터의 유효성이 떨어지게 되는 것이다. 이런 한계들로 인해 AI 평가 모델의 개선 속도가 전반적인 AI 기술 발전 속도를 따라가지 못하는 상황이 발생했다.

연구진이 제안한 ‘Self-Taught Evaluator’ 방식은 이러한 한계를 극복하기 위해 인간의 평가 데이터 없이 AI 스스로 학습하는 방식을 택했다. 이 방식의 구체적인 과정은 다음과 같다:

1. 초기화: 대량의 사용자 질문 데이터와 초기 AI 모델을 준비한다.
2. 질문 선택: AI를 이용해 다양한 난이도와 주제의 질문들을 균형 있게 선별한다.
3. 응답 쌍 생성: 각 질문에 대해 두 가지 응답을 생성한다. 하나는 정상적인 응답이고, 다른 하나는 의도적으로 품질이 떨어지는 응답이다.
4. 반복 학습: 다음 두 단계를 반복한다. a) 판단 생성: 현재의 AI 평가 모델로 생성된 응답 쌍의 품질을 평가한다. b) 모델 미세 조정: 평가 결과를 바탕으로 AI 평가 모델을 개선한다.

이 과정에서 AI는 스스로 생성한 응답들의 품질 차이를 학습하면서 평가 능력을 점진적으로 향상시킨다. 특히 모델의 성능이 높아질수록 더 많은 학습 데이터를 활용할 수 있게 되어 일종의 자동 커리큘럼 효과가 나타난다.

연구진은 이 방식을 통해 라마3-70B-인스트럭트 모델의 평가 정확도를 크게 향상시켰다. AI 평가 모델의 성능을 측정하는 벤치마크인 리워드벤치(RewardBench)에서 초기 모델은 75.4점을 기록했지만, ‘Self-Taught Evaluator’ 방식으로 학습한 후에는 88.7점까지 성능이 향상됐다.

이는 인간 평가 데이터로 훈련된 최고 성능의 AI 평가 모델과 비슷한 수준이다. 실제로 같은 라마3-70B-인스트럭트 모델을 인간 평가 데이터인 HelpSteer2로 훈련시킨 경우 85.6점을 기록했는데, ‘Self-Taught Evaluator’ 방식이 이보다 더 높은 성능을 보인 것이다.

또한 연구진은 MT-Bench라는 또 다른 벤치마크에서도 실험을 진행했다. 그 결과 ‘Self-Taught Evaluator’ 방식으로 훈련된 모델이 GPT-4와 비슷한 수준의 평가 능력을 보이는 것으로 나타났다. 이는 인간의 평가 데이터 없이도 최고 수준의 AI 모델과 견줄 만한 평가 능력을 갖출 수 있다는 것을 보여주는 결과다.

이번에 제안된 ‘Self-Taught Evaluator’ 방식은 여러 측면에서 큰 의미를 갖는다. 우선 인간의 평가 데이터 수집에 들어가는 비용과 시간을 크게 절감할 수 있다. 이는 AI 평가 모델의 개발 속도를 높이는 데 기여할 수 있다.

또한 AI 기술의 빠른 발전 속도에 맞춰 평가 모델도 신속하게 개선할 수 있다는 장점이 있다. 새로운 AI 모델이 등장할 때마다 그에 맞는 평가 데이터를 새로 수집할 필요 없이, AI 스스로 학습해 평가 능력을 향상시킬 수 있기 때문이다.

더불어 이 방식은 다양한 분야와 평가 기준에 쉽게 적용할 수 있다. 특정 분야의 전문가 평가 데이터가 없어도, 해당 분야의 질문들만 있으면 AI가 스스로 학습해 평가 능력을 키울 수 있는 것이다. 이는 AI의 활용 범위를 더욱 넓히는 데 기여할 수 있다.

물론 ‘Self-Taught Evaluator’ 방식에도 한계는 있다. 연구진은 이번 실험이 70B 파라미터의 대규모 AI 모델에서만 검증됐다는 점을 지적했다. 따라서 더 작은 규모의 AI 모델에서도 이 방식이 효과적인지 검증하는 작업이 필요하다.

또한 이 방식의 성능은 초기 모델의 능력에 따라 달라질 수 있다. 어느 정도 수준 이상의 AI 모델이어야 자가 학습이 제대로 이루어질 수 있기 때문이다. 따라서 다양한 수준의 초기 모델에서 이 방식의 효과를 검증해볼 필요가 있다.

연구진은 향후 과제로 계산 비용을 줄이는 방안을 마련하는 것도 제시했다. 현재의 방식은 여러 번의 반복 학습을 거치기 때문에 상당한 컴퓨팅 자원이 필요하다. 이를 최적화하는 방법을 찾는다면 ‘Self-Taught Evaluator’ 방식의 실용성을 더욱 높일 수 있을 것이다.

또 다른 과제로는 단일 응답의 품질을 평가하는 방식에 대한 연구가 있다. 현재의 ‘Self-Taught Evaluator’ 방식은 두 가지 응답을 비교 평가하는 방식이지만, 실제로는 단일 응답의 절대적인 품질을 평가해야 하는 경우도 많기 때문이다.

이번 연구 결과는 AI 기술의 빠른 발전 속도에 맞춰 AI 평가 기술도 함께 발전할 수 있는 가능성을 보여줬다는 점에서 큰 의미가 있다. AI가 스스로 학습해 평가 능력을 향상시킬 수 있다는 것은, AI 기술 발전의 속도와 범위가 더욱 넓어질 수 있다는 것을 의미한다.

앞으로 ‘Self-Taught Evaluator’ 방식이 더욱 발전하고 널리 활용된다면, AI 개발 전반에 긍정적인 영향을 미칠 것으로 기대된다. AI 평가 모델의 성능이 높아질수록 더 뛰어난 AI 모델을 개발할 수 있고, 이는 다시 더 나은 평가 모델로 이어지는 선순환이 만들어질 수 있기 때문이다.

이러한 발전은 궁극적으로 AI 기술이 인간의 삶에 더 유용하게 활용될 수 있는 가능성을 높인다. 더 정확하고 신뢰할 수 있는 AI 평가 기술은 AI의 안전성과 효용성을 높이는 데 기여할 수 있다. 따라서 ‘Self-Taught Evaluator’ 방식의 등장은 AI 기술 발전의 새로운 전기가 될 수 있을 것으로 전망된다.

금융기관들은 이러한 리스크와 규제 동향을 주시하며 AI 기술을 안전하고 효과적으로 도입하기 위한 노력을 기울이고 있다. 앞으로 AI 기술이 은행 업무의 효율성과 고객 서비스 품질을 크게 향상시킬 것으로 기대되는 가운데, 기술 도입에 따른 부작용을 최소화하는 것이 과제로 남아있다.

메타의 논문은 링크에서 확인할 수 있다.

본 기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다. 

관련 콘텐츠 더보기