앤트로픽 ‘브레이크 페달’ 경고… “AI가 스스로를 개선하기 직전, 통제 장치 만들어야”

앤트로픽(Anthropic)이 6월 5일(현지) AI 업계를 향해 이례적인 공개 경고를 내놨다. 자사 모델을 포함한 AI가 너무 빠르게 발전해, 머지않아 인간 개입 없이 스스로를 개선하는 단계에 이를 수 있다는 것이다. 회사는 이를 막기 위해 업계가 함께 ‘브레이크 페달’을, 즉 폭주하는 시스템을 늦추거나 멈출 기술적 안전장치를 만들어야 한다고 촉구했다. 자사 기술의 위력을 자랑하기보다 그 위험을 먼저 꺼내 든 이례적 행보다.

핵심 개념은 ‘완전한 재귀적 자기개선(full recursive self-improvement)’이다. AI가 사람의 지속적 감독 없이 자신의 능력을 스스로 끌어올리는 지점을 가리킨다. 앤트로픽 공동창업자 잭 클라크(Jack Clark)는 “이미 우리 코딩 작업의 80%를 클로드(Claude)가 수행하고 있으며, 수년 내 100%에 이를 수 있다”고 말했다. 모델이 자기 코드를 직접 개선하는 능력이 현실에 가까워지고 있다는 경고다. AI가 다음 버전의 AI를 만드는 고리가 닫히면, 발전 속도는 사람이 따라잡기 어려운 수준으로 빨라질 수 있다.

문제는 안전성 평가 방식이다. 지금의 평가 체계는 모델이 몇 달에 한 번씩 훈련을 거쳐 능력이 올라간 뒤, 업데이트 사이에는 능력이 고정된다는 전제로 설계됐다. 그러나 배치 중에도 스스로 가중치나 구조를 바꾸는 자기개선 모델은 출시 시점에 한 평가가 몇 주 뒤엔 무의미해진다. 위험의 성격 자체가 다르다는 것이다. ‘출시 때 안전했으니 괜찮다’는 가정 자체가 흔들린다는 지적이다.

클라크는 이 도전을 냉전 시기 핵 군비 통제에 빗댔다. 경쟁 관계인 AI 기업들이 안전 문제에서만큼은 협력해야 한다는 주장이다. 다만 앤트로픽은 일방적 개발 중단은 선을 그었다. “여러 나라의, 프런티어에 근접한 충분한 자원을 가진 복수의 연구소가 같은 조건으로 동시에 멈추기로 합의할 때만” 개발 중단(pause)이 의미 있다고 봤다. 한 곳만 멈추면 주도권만 넘어갈 뿐 사회적 숙의는 만들어지지 않는다는 이유에서다. 결국 단독 행동이 아니라 국제적 조율이 관건이라는 메시지다.

이 경고는 미묘한 시점에 나왔다. 앤트로픽은 9,650억 달러(약 1,503조 원) 평가를 목표로 기업공개(IPO)를 준비 중이고, 오픈AI(OpenAI)와 나란히 의회에 추가 안전장치 입법을 요청한 상태다. 모델이 더 강력해질 것이라는 전제로 천문학적 기업가치를 인정받으면서, 동시에 그 위험을 경고하는 구조다. 모순이라기보다는 ‘우리가 감당할 수 있는 규칙을 우리가 먼저 제안한다’는 전략에 가깝다. 국내 AI 개발사와 정책 당국에도 자기개선 모델을 전제로 한 평가·감독 체계 논의가 필요하다는 신호로 받아들여진다.

자세한 내용은 CNN에서 확인할 수 있다.

이미지 출처: 이디오그램 생성