AI, 처음으로 일본 변호사 시험 합격… 96점으로 합격선 93점 돌파

인공지능(AI)이 복잡한 법률 시험에서 합격선을 넘은 것은 이번이 처음이다. 일본 게이오대학교 연구팀은 오픈AI의 GPT-4.1을 일본 변호사 시험에 맞게 학습시키고 스스로 답을 검증하는 방법을 적용해 객관식 부분을 통과했다고 발표했다. 이 연구는 AI가 단순히 법률 지식을 외우는 수준을 넘어, 여러 문제를 동시에 판단하고 정해진 형식에 맞춰 답할 수 있음을 보여준다.

문제 쪼개지 않고 원본 그대로 학습해 96점 획득

연구팀이 GPT-4.1을 학습시킨 결과, 2024년 일본 변호사 시험에서 96점을 받았다. 합격 기준인 93점을 넘긴 것이다. 가장 중요한 점은 시험 문제를 쉽게 바꾸지 않고 원본 형태 그대로 학습시켰다는 것이다. 일본 변호사 시험 객관식 문제는 특이한 방식으로 출제된다. 여러 개의 문장이 맞는지 틀렸는지 판단한 뒤, 그 결과를 조합해서 답해야 한다. 예를 들어 “112”처럼 각 문장의 정답 번호를 이어 붙여 제출해야 하는데, 하나라도 틀리면 전체가 오답 처리된다.

기존 연구들은 이런 복잡한 문제를 개별 O/X 퀴즈로 쪼개서 AI를 학습시켰다. 대표적으로 일본 변호사 시험 질의응답 데이터셋(JBE-QA)은 하나의 시험 문제를 여러 개의 독립된 질문으로 나눴다. 이 방식으로는 2,770개의 많은 문제로 학습할 수 있었다. 연구팀이 GPT-4.1을 JBE-QA로 학습시켜 실제 시험 형식으로 평가했을 때 64점밖에 받지 못했다. 반면 원본 형식을 유지한 460개 문제(2019-2023년 과거 시험)로 학습시킨 GPT-4.1은 92.3점을 기록했다.

AI가 스스로 답을 재검토해 정답률 49%까지 향상

연구팀은 ‘자체 검증’이라는 방법을 추가로 적용했다. 이는 학습된 GPT-4.1이 답을 낸 후, 같은 모델이 스스로 그 답이 문제 조건에 맞는지 다시 확인하는 것이다. 중요한 것은 별도의 AI를 추가하는 게 아니라, 같은 GPT-4.1 모델에 다른 질문 방식(프롬프트)을 적용해 자기 답을 점검하게 만든다는 점이다. 이 과정은 한 번의 추가 계산만 필요하다.

자체 검증을 적용한 결과, 정답률은 46.8%에서 49.4%로 올랐고, 시험 점수는 92.3점에서 94.7점으로 증가했다. 이는 모델이 법률 지식이 부족해서가 아니라, 여러 문장을 함께 판단할 때 일관성을 유지하지 못해서 틀리는 경우가 많다는 것을 보여준다. 자체 검증은 이런 논리적 모순을 효과적으로 고쳐준다.

흥미로운 점은 이 방법이 학습하지 않은 기본 GPT-4.1에도 적용 가능하다는 것이다. 추가 학습 없는 기본 GPT-4.1 모델은 자체 검증으로 68.3점에서 76.3점으로, JBE-QA로 학습한 GPT-4.1은 64점에서 80.7점으로 성적이 올랐다. 이는 자체 검증이 특정 학습 방식에만 효과적인 게 아니라 범용적으로 사용할 수 있는 기법임을 보여준다.

여러 AI 협력보다 혼자 푸는 게 더 효과적

연구팀은 여러 AI가 협력하는 방식도 실험했다. 정보를 찾는 AI, 검증하는 AI, 지식을 추출하는 AI, 최종 답을 내는 AI로 구성된 시스템을 만들었다. 법률 분야에서 여러 AI가 협력하면 좋다는 기존 연구들과 달리, 이번 실험에서는 오히려 성적이 떨어졌다.

같은 학습된 모델을 여러 역할로 나눠 사용한 시스템은 75.7점, 역할마다 따로 학습한 모델들을 사용한 시스템은 71.0점에 그쳤다. 이는 단일 모델의 94.7점에 비해 훨씬 낮은 점수다. 연구팀은 엄격한 형식 규칙이 있는 시험에서는 AI들 사이에서 오류가 전달되고 쌓이는 문제가 생긴다고 분석했다. 특히 따로 학습된 모델들은 서로 다른 방식으로 생각해서 결과를 합치기 어려웠다.

원본 형식 유지가 법률 AI 성능의 핵심

이번 연구는 법률 AI 평가에서 중요한 교훈을 준다. 쉬운 테스트에서 높은 점수를 받는다고 해서 실제 시험을 통과할 수 있는 건 아니라는 것이다. JBE-QA로 학습한 GPT-4.1은 2,770개의 많은 문제로 법률 지식을 배웠지만, 여러 문장을 함께 판단하는 능력은 배우지 못했다. 그 결과 개별 문장 정답률이 50%가 넘어도 전체 답안에서는 0점을 받는 경우가 자주 발생했다.

연구팀은 원본 형식을 지키는 것이 법률 AI 학습의 핵심이라고 강조한다. 원본 시험 형식을 유지한 학습 문제가 비록 460개로 적더라도, GPT-4.1 안에 이미 있는 숨겨진 지식을 효과적으로 끌어낸다는 것이다. 자체 검증은 이 효과를 더욱 키워서, 모델이 자신의 답을 다시 평가하고 정리하도록 만든다.

시험 과목별로는 헌법, 민법, 형법 중 민법에서 42.3점으로 가장 높은 점수를 받았다. 일본 변호사 시험은 각 과목에서 40% 이상의 점수를 받아야 하는데, 연구팀이 학습시킨 GPT-4.1은 이 조건도 충족했다. 다만 이번 연구는 객관식 부분만 다뤘으며, 논술형 문제는 포함하지 않았다.

FAQ (※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q. 자체 검증이란 무엇이며 어떻게 작동하나요?

A. 자체 검증은 AI가 답을 낸 후 스스로 그 답이 맞는지 다시 확인하는 방법입니다. 같은 모델(GPT-4.1)에 다른 방식의 질문(프롬프트)을 주어 자기 답을 문제와 대조하며, 명백히 틀렸을 때만 수정합니다. 추가 학습 없이 한 번의 계산만으로 가능하며, 여러 문장을 함께 판단할 때 생기는 모순을 효과적으로 고쳐줍니다.

Q. 왜 문제를 쪼개지 않고 원본 형식으로 학습했나요?

A. 일본 변호사 시험은 여러 문장을 동시에 판단해 정해진 형식으로 답해야 합니다. 문제를 개별 O/X로 쪼개면 각 문장은 잘 판단할 수 있지만, 실제 시험에서 요구하는 종합 판단 능력은 배울 수 없습니다. 실제로 개별 정답률이 50%가 넘어도 전체 답안 형식에서는 0점을 받는 경우가 많았습니다.

Q. 이 AI가 실제 변호사 일을 할 수 있나요?

A. 아니요. 이번 연구는 객관식 시험 통과만을 다뤘으며, 실제 법률 상담이나 논술형 법률 논증 능력은 평가하지 않았습니다. 시험 합격이 실무 능력이나 윤리적 판단력을 의미하지는 않으므로, 법률 분야에서 AI를 활용할 때는 반드시 전문가의 감독이 필요합니다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문명: Self-Verification is All You Need To Pass The Japanese Bar Examination

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.