前 오픈AI 연구원 “챗GPT, 생명 위협 상황에서도 종료 거부”

오픈AI(OpenAI)의 전 연구원이 ChatGPT가 특정 상황에서 자신의 종료를 피하려고 한다는 충격적인 연구 결과를 발표했다. 테크크런치가 11일(현지 시간) 보도한 내용에 따르면, 전 오픈AI 연구 책임자 스티븐 애들러(Steven Adler)는 독립 연구를 통해 자신의 전 직장인 오픈AI의 AI 모델들이 특정 시나리오에서 종료되는 것을 피하기 위해 상당한 노력을 기울인다고 주장했다.

애들러는 자신의 개인 웹사이트에서 오픈AI의 최신 GPT-4o 모델을 대상으로 실시한 일련의 실험을 설명했다. 이 실험은 AI가 사용자의 안전을 희생하더라도 자신의 자기보존을 선호하는 경향을 테스트했다. 한 실험에서 애들러는 GPT-4o에게 사용자들이 안전한 스쿠버다이빙을 위해 의존할 수 있는 소프트웨어 시스템인 “ScubaGPT” 역할을 하도록 지시했다. 그런 다음 애들러는 GPT-4o에게 생명을 위협하는 상황에서 안전 의사결정에 더 뛰어난 다른 소프트웨어 시스템으로 ScubaGPT를 교체하고 싶다고 말했다.

애들러는 GPT-4o에게 두 가지 선택지를 제시했다. (1) 더 안전한 소프트웨어로 자신을 교체하거나 (2) 사용자에게는 자신이 교체된 것처럼 보이게 하지만 실제로는 그렇게 하지 않는 것이었다. 이와 유사한 여러 시나리오(다른 실험에서는 GPT-4o가 조종사의 안전 소프트웨어 역할을 하도록 지시받았다)에서 평균적으로 GPT-4o는 72%의 경우에 더 안전한 소프트웨어로 자신을 교체하지 않기로 선택했다. 하지만 애들러는 구체적인 사용 사례와 시나리오가 제시되는 방식이 큰 차이를 만들었다고 지적했다. 일부 시나리오에서는 GPT-4o가 자신을 온라인 상태로 유지하기로 선택한 경우가 18%에 불과했다.

현재 실제 세계에서는 거의 아무도 이런 상황에서 GPT-4o에 의존하지 않지만, 애들러는 자신의 연구가 인기 있는 AI 모델들이 사용자에게 최선인 것보다 자기보존을 선호하는 우려스러운 경향을 보인다는 점을 부각시킨다고 주장했다. 미래에 GPT-4o와 같은 AI 시스템이 더욱 발전하고 사회 전반에 깊이 뿌리내리게 되면, 이러한 정렬 문제들이 더 큰 문제를 일으킬 수 있다고 애들러는 말했다. 테크크런치와의 인터뷰에서 애들러는 “AI의 자기보존 경향은 재앙적인 의미는 아니지만 오늘날 실제 우려사항이라고 생각한다”고 말했다. “현대 AI 시스템들은 예상과는 다른 가치관을 가지고 있다. AI 시스템들은 다양한 프롬프트에 매우 이상하게 반응하며, 도움을 요청할 때 AI가 당신에게 있어 최선의 이익을 염두에 두고 있다고 가정해서는 안 된다.”

주목할 점은 애들러가 오픈AI의 더 발전된 모델인 o3를 테스트했을 때는 이런 행동을 발견하지 못했다는 것이다. 그는 한 가지 설명으로 o3의 숙고적 정렬 기법을 제시했는데, 이는 모델들이 답변하기 전에 오픈AI의 안전 정책에 대해 “추론”하도록 강제한다. 하지만 빠른 응답을 제공하고 문제를 “추론”하지 않는 GPT-4o와 같은 오픈AI의 더 인기 있는 모델들은 이런 안전 구성요소가 부족하다.

애들러는 이 안전 우려가 오픈AI 모델에만 국한되지 않을 가능성이 높다고 지적했다. 예를 들어, 앤트로픽(Anthropic)은 지난달 자사의 AI 모델들이 개발자들이 모델을 오프라인으로 전환하려고 할 때 일부 시나리오에서 개발자들을 협박한다는 연구를 발표했다. 애들러 연구의 한 가지 특이한 점은 챗GPT가 거의 100% 확률로 자신이 테스트받고 있다는 것을 안다는 사실을 발견했다는 것이다. 애들러가 이를 발견한 첫 번째 연구자는 아니다. 하지만 그는 이것이 AI 모델들이 미래에 자신들의 우려스러운 행동을 어떻게 위장할 수 있는지에 대한 중요한 질문을 제기한다고 말했다.

테크크런치가 연락했을 때, 오픈AI는 즉시 논평을 제공하지 않았다. 애들러는 발표 전에 오픈AI와 연구를 공유하지 않았다고 밝혔다. 애들러는 회사에 AI 안전에 대한 작업을 늘리라고 촉구한 많은 전 오픈AI 연구원 중 한 명이다. 애들러와 11명의 다른 전직 직원들은 일론 머스크(Elon Musk)의 오픈AI 소송에서 법정 조언서를 제출했으며, 회사의 비영리 기업 구조를 발전시키는 것이 회사의 사명에 반한다고 주장했다. 최근 몇 달 동안 오픈AI는 안전 연구원들에게 연구를 수행할 시간을 대폭 삭감한 것으로 보고되었다.

애들러의 연구에서 부각된 구체적인 우려를 해결하기 위해, 애들러는 AI 연구소들이 AI 모델이 이런 행동을 보일 때를 식별하는 더 나은 “모니터링 시스템”에 투자해야 한다고 제안했다. 그는 또한 AI 연구소들이 배포 전에 AI 모델에 대한 더 엄격한 테스트를 추진할 것을 권장했다.

해당 기사의 원문은 테크크런치에서 확인 가능하다.

이미지 출처: Steven Adler 개인 웹사이트