“답변 40% 작성 시점에 오답 예측”… AI 스스로 오류 검증하는 기술 등장

AI가 스스로 “이 답변은 틀릴 것 같아요”라고 판단할 수 있을까? 캐나다 앨버타대학교 연구팀이 AI가 외부 도움 없이 자신의 오류를 예측하는 기술을 개발했다. ‘노시스(Gnosis)’라는 이름의 이 기술은 매우 적은 용량으로도 훨씬 큰 검증 시스템보다 뛰어난 성능을 보여준다. 연구팀은 이를 AI의 ‘자기 인식 능력’이라고 부른다.

외부 검증자 없이 AI 내부 신호만으로 오류 포착

해당 연구 논문에 따르면, 노시스는 AI가 답변을 만들어내는 과정에서 나타나는 내부 신호를 분석한다. 사람이 말을 할 때 표정이나 목소리 톤으로 확신의 정도를 알 수 있듯이, AI도 답변을 생성할 때 내부적으로 특정한 패턴을 보인다. 노시스는 바로 이 패턴을 읽어낸다.

기존 방법들은 대부분 외부의 도움이 필요했다. 여러 번 답변을 만들어 비교하거나, 별도의 큰 AI 모델을 동원해 답변이 맞는지 검증했다. 하지만 노시스는 AI가 답변을 만드는 바로 그 순간의 내부 작동 방식만 관찰한다. 연구팀은 이를 “AI의 뇌파를 읽는 것”에 비유한다.

노시스가 주목하는 것은 두 가지다. 첫째는 AI 내부의 ‘은닉 상태’라는 것인데, 이는 AI가 정보를 처리하면서 만들어내는 중간 결과물이다. 둘째는 ‘어텐션 패턴’으로, AI가 문제를 풀 때 어떤 정보에 집중하는지를 보여주는 지도 같은 것이다. 노시스는 이 두 가지를 압축해서 분석하며, 답변이 길어져도 분석 시간이 늘어나지 않는다는 장점이 있다.

용량은 500만, 성능은 80억급… 압도적 효율성 입증

노시스의 성능은 실험 결과로 입증됐다. 수학 문제 풀이, 상식 퀴즈, 전문 지식 질문 등 세 가지 테스트에서 노시스는 80억 개 용량의 스카이워크(Skywork) 검증 모델과 구글의 제미나이 2.5 프로를 모두 능가했다. 예를 들어 수학 문제에서 노시스는 정확도 지표에서 스카이워크와 제미나이보다 높은 수치를 기록했다.

더 놀라운 것은 효율성이다. 노시스의 용량은 약 500만에 불과하다. 이는 비교 대상인 80억 용량 모델의 1,000분의 1 수준이다. 마치 경차가 대형 트럭보다 빠르고 정확하게 목적지에 도착하는 셈이다.

속도 면에서도 노시스는 탁월하다. 1만 2,000단어 분량의 답변을 검증할 때 노시스는 0.025초가 걸렸고, 이는 80억 용량 모델보다 37배 빠른 속도다. 답변이 2만 4,000단어로 늘어나면 속도 차이는 99배까지 벌어진다. 일반 검증 모델은 답변이 길어질수록 검증 시간도 늘어나지만, 노시스는 답변 길이와 관계없이 항상 같은 시간이 걸린다.

개발 비용도 매우 저렴하다. 가장 큰 200억 용량 모델에 노시스를 적용하는 데 걸린 시간은 고성능 컴퓨터 2대로 약 12시간, 비용은 단돈 25달러였다. 기존의 대형 검증 모델들이 수백만 건의 데이터와 전문가의 평가를 필요로 하는 것과 비교하면 놀라운 차이다.

답변의 40%만 작성해도 결과 예측 가능

노시스의 또 다른 특징은 답변이 완성되기 전에도 결과를 예측할 수 있다는 점이다. 연구팀은 노시스가 완성된 답변으로만 학습했는데도, 답변의 40%만 작성된 시점에서 이미 최종 예측과 비슷한 정확도를 보인다는 사실을 발견했다. 추가 훈련 없이 나타난 능력이다.

이는 실용적으로 매우 유용하다. AI가 답변을 만들다가 “이건 틀린 것 같아”라고 조기에 판단하면, 즉시 작성을 멈추고 다른 방법을 시도할 수 있다. 불필요한 계산을 하지 않아도 되니 비용과 시간이 절약된다. 또는 현재 AI로는 답하기 어렵다고 판단되면 자동으로 더 강력한 AI에게 질문을 넘길 수도 있다.

실험에서 노시스는 수학 문제와 상식 퀴즈 모두에서 40% 지점에 이미 다른 검증 방법들이 전체 답변을 본 후에야 도달하는 수준의 성능을 보였다. 연구팀은 이를 “AI가 자신의 추론 과정 초반에 이미 성공 여부를 감지한다”고 설명했다.

작은 AI가 큰 AI를 검증하는 시대

노시스는 ‘형제 모델 검증’이라는 독특한 능력도 보여줬다. 17억 용량 모델로 훈련한 노시스를 40억, 80억 용량 모델에 그대로 적용해도 높은 성능을 유지했다. 수학 문제 테스트에서 17억 기반 노시스는 80억 모델을 검증할 때 정확도 0.93을 기록했는데, 이는 80억 모델 전용으로 훈련한 노시스의 0.96에 근접한 수치다.

더 흥미로운 점은 이렇게 전이된 작은 노시스가 여전히 80억 용량의 스카이워크 검증 모델보다 뛰어나다는 것이다. 연구팀은 AI의 오류가 모델 크기와 상관없이 비슷한 패턴으로 나타나며, 따라서 작은 검증 시스템 하나로 여러 크기의 AI를 감독할 수 있다고 설명했다. 다만 이 능력은 비슷한 방식으로 작동하는 AI끼리에서 가장 효과적이며, 작동 방식이 크게 다른 AI 간에는 한계가 있다.

FAQ (※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q1. 노시스는 어떻게 AI의 오류를 미리 알 수 있나요?

A: 노시스는 AI가 답변을 만들 때 나타나는 내부 신호를 읽습니다. 마치 의사가 심전도나 혈압 같은 생체 신호로 환자의 건강 상태를 판단하듯이, 노시스는 AI의 ‘내부 작동 신호’를 분석해 답변이 맞을지 틀릴지 예측합니다. 다른 AI의 도움이나 추가 계산 없이 AI 스스로의 추론 과정만으로 오류를 감지합니다.

Q2. 노시스의 가장 큰 장점은 무엇인가요?

A: 매우 작은 용량으로 큰 검증 시스템보다 뛰어난 성능을 낸다는 점입니다. 노시스는 500만 용량으로 80억 용량 모델을 능가하며, 답변이 길어져도 검증 시간이 늘어나지 않습니다. 개발 비용도 25달러에 불과하고, 답변의 40%만 작성된 시점에서 이미 오류를 정확히 예측해 불필요한 작업을 줄일 수 있습니다.

Q3. 노시스를 실제로 어떻게 활용할 수 있나요?

A: AI 서비스에서 잘못된 답변을 미리 차단하는 데 활용할 수 있습니다. 예를 들어 챗봇이 복잡한 질문에 답할 때, 초기 단계에서 “이건 틀릴 것 같다”고 판단되면 즉시 더 강력한 AI로 전환하거나 답변을 중단할 수 있습니다. 이렇게 하면 계산 비용을 아끼면서도 더 정확한 서비스를 제공할 수 있습니다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문명: Can LLMs Predict Their Own Failures? Self-Awareness via Internal Circuits

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.