[AI와 인간 사이] “그래서 달리라고, 멈추라고?” 앤트로픽의 정지 신호가 불편한 이유

2026년 6월, 앤트로픽은 일주일 사이에 세 가지 일을 했다. 6월 1일에는 미국 증권거래위원회에 기업공개를 위한 서류를 비공개로 제출했다. 직전에 마감한 시리즈 H 투자 라운드에서 650억 달러를 조달하며 기업가치 9,650억 달러를 인정받은 뒤였다. 며칠 뒤에는 최신 모델 Claude Fable 5를 출시했고, 그 바로 다음 날 최고경영자 다리오 아모데이는 정부가 안전 기준을 통과하지 못한 AI 모델의 출시를 차단할 권한을 가져야 한다는 정책 에세이를 발표했다. 그리고 같은 시기에 앤트로픽 산하 연구 조직은 “AI가 스스로를 만들 때”라는 제목의 보고서를 공개했다. (링크) 자사 코드의 80% 이상을 이미 클로드가 작성하고 있으며, 이 추세가 이어지면 AI가 자신의 후속 모델을 직접 설계하는 재귀적 자기개선에 도달할 수 있고, 그 전에 전 세계 개발사들이 함께 속도를 늦추거나 일시 정지할 수 있는 장치를 만들어야 한다는 내용이었다.

세계에서 가장 비싼 AI 기업이 상장을 준비하면서, 가장 강력한 모델을 출시하면서, 동시에 이 기술을 멈출 수 있어야 한다고 말하고 있다. 이 세 장면을 나란히 놓고 보면 누구라도 한 가지 질문을 떠올리게 된다. 이 사람들은 지금 달리자는 것인가, 멈추자는 것인가.

스스로를 만들기 시작한 기계

먼저 보고서의 내용 자체를 보자. 불편함과 별개로, 여기 담긴 숫자들은 업계에서 가장 구체적인 내부 데이터다.

앤트로픽에 따르면 2026년 5월 기준으로 자사 코드베이스에 병합되는 코드의 80% 이상을 클로드가 작성한다. 클로드 코드가 출시되기 전인 2025년 초에는 한 자릿수였던 비율이다. 엔지니어 한 명이 분기당 병합하는 코드량은 2024년 대비 8배로 늘었고, 회사는 코드량이 과장된 지표임을 인정하면서도 가속 자체는 분명하다고 말한다. AI가 자율적으로 수행할 수 있는 작업의 길이를 추적하는 연구기관 METR의 측정으로는, 모델이 혼자 처리할 수 있는 작업 시간이 약 4개월마다 두 배로 늘고 있다. 2024년 3월에 4분짜리 작업을 하던 모델이 지금은 12시간짜리 작업을 처리하고, 이 추세가 유지되면 내년에는 사람이 몇 주 걸리는 일을 맡게 된다는 계산이 나온다.

더 의미심장한 대목은 연구 영역이다. 앤트로픽은 올해 4월, AI 에이전트에게 미해결 안전 연구 문제를 통째로 맡긴 실험 결과를 공개했다. 사람 연구자 두 명이 일주일 동안 목표 성능 격차의 23%를 회복하는 동안, 에이전트들은 가설 수립부터 실험 설계까지 스스로 수행하며 97%를 회복했다. 사람이 한 일은 문제를 골라주고 채점 기준을 만든 것뿐이었다. 보고서는 인간의 역할이 개발 공정의 각 단계에서 점점 좁아지고 있으며, 마지막으로 남은 것은 어떤 문제가 풀 가치가 있는지 고르는 판단, 이른바 연구 감각이라고 정리한다. 그리고 그 감각조차 측정 가능한 모든 지표에서 빠르게 따라붙고 있다고 덧붙인다.

이 진단 위에서 앤트로픽이 내놓는 처방이 정지 옵션이다. 정확히 읽을 필요가 있다. 그들은 지금 당장 멈추자고 하지 않는다. 일방적인 정지는 선두 주자가 누구인지만 바꿀 뿐 세상을 더 안전하게 만들지 못한다고 스스로 선을 긋는다. 대신 프런티어에 있는 여러 연구소가 여러 나라에서 같은 조건으로 멈추기로 합의하고, 서로가 실제로 멈췄는지 검증할 수 있는 체계를 만들자고 제안한다. 그런 체계가 존재하고 다른 개발사들이 검증 가능하게 동참한다면 앤트로픽도 속도를 늦추거나 일시 정지하겠다는 조건부 약속이다. 냉전 시기 중거리핵전력조약 같은 군비통제 체제를 참조 모델로 들면서, 훈련 실행은 미사일 격납고보다 숨기기 쉽고 몰래 이탈할 유인이 막대하기 때문에 핵보다 훨씬 어려운 문제라는 점도 인정한다.

논리적으로는 흠잡을 데가 없다. 그런데도 읽고 나면 어딘가 개운치 않다. 그 개운치 않음의 정체를 따져보는 것이 이번 글의 목적이다.

전국 1등이 공부를 멈추자고 말할 때

비유하자면 이런 상황이다. 전교 1등도 아니고 전국 1등도 아니고 압도적인 세계 1등이 어느 날 기자회견을 열어 이렇게 말한다. “공부는 위험하다, 전 세계 모든 수험생이 공부를 쉬거나 멈출 수 있는 약속과 제도를 합의해야 한다.” 그러면서 정작 본인은 매일 새벽까지 책상 앞에 앉아 있고, 다음 주에 세계에서 가장 어려운 모의고사를 또 치를 예정이다. 듣는 사람 입장에서는 세 가지 해석이 가능하다. 1등 자리를 지키려는 계산인지, 출혈 경쟁의 비용을 줄이려는 협상 전략인지, 아니면 가장 멀리 가본 사람만이 느낄 수 있는 진짜 공포인지 가려낼 방법이 없다.

의심하는 쪽의 논거부터 정리해 보자. 이 의심은 단순한 음모론이 아니라 업계 최고위급 인사들의 공개 발언이다. 올해 4월 오픈AI의 샘 알트먼은 앤트로픽이 Claude Mythos 모델을 홍보하면서 공포 기반 마케팅을 하고 있다고 직격했다. 고도화된 AI에 대한 우려가 소수 기업에 기술 통제권을 집중시키는 명분으로 쓰일 수 있다는 비판이었다. 엔비디아의 젠슨 황은 아모데이의 발언에 거의 전부 동의하지 않는다고 말했고, 엔비디아 대변인은 한발 더 나아가 규제 포획을 위한 로비는 AI를 덜 안전하고 덜 민주적으로 만들 뿐이라고 논평했다. 백악관의 AI 정책 책임자 데이비드 색스 역시 앤트로픽이 공포를 조장해 규제 기관을 포획하려 한다고 공격한 바 있다.

이 비판의 구조는 역사에서 빌려올 수 있다. 1946년 미국은 핵무기를 독점한 상태에서 바루크 플랜을 제안했다. 원자력을 국제기구의 통제 아래 두고, 사찰과 검증 체계를 갖춘 뒤에 미국도 핵을 포기하겠다는 안이었다. 문서만 보면 인류애로 가득한 제안이었지만 소련은 단호히 거부했다. 검증 체계가 완성될 때까지 미국의 독점이 유지되고, 그 사이 다른 나라의 추격만 봉쇄된다고 읽었기 때문이다. 선두 주자가 제안하는 정지 협정은 아무리 정교해도 후발 주자에게는 사다리 걷어차기로 들린다는 것, 이것이 80년 전에 확인된 국제정치의 문법이다. 검증 체계를 만들자, 조건이 갖춰지면 우리도 멈추겠다는 앤트로픽의 제안은 구조적으로 바루크 플랜과 닮았다. 검증 인프라가 만들어지는 데 걸리는 시간 동안 격차는 벌어지고, 멈춤의 조건과 해제 기준을 설계하는 주체가 사실상 규칙의 저자가 된다.

여기에 상업적 타이밍이 겹친다. 정지 옵션을 만들자는 보고서와 9,650억 달러 기업가치의 상장 서류가 같은 달에 나왔다. 위험하다는 메시지는 이 기술이 그만큼 강력하다는 메시지와 동전의 양면이고, 강력하다는 인식은 기업가치에 그대로 반영된다. 우리 제품은 너무 위험해서 정부의 통제가 필요하다는 말만큼 효과적인 제품 광고가 또 있을까. 의심하는 쪽에서 보면 앤트로픽의 안전 담론은 거짓이라서가 아니라 너무 수익과 연결되어 있어서 문제다.

가장 빨리 달려본 사람만 아는 것

그러나 반대쪽 논거도 같은 무게로 다뤄야 공정하다.

첫째, 일관성이다. 아모데이는 상장을 앞두고 갑자기 안전을 말하기 시작한 사람이 아니다. 2021년 오픈AI의 안전 접근법에 대한 견해 차이로 동료 열네 명과 함께 회사를 나와 앤트로픽을 세웠고, 2023년 7월에는 프런티어 연구소 수장 중 처음으로 미 상원에 출석해 업계의 자율 규제만으로는 부족하다고 증언했다. 작년에는 주 정부의 AI 규제를 10년간 금지하려는 연방 입법 시도를 너무 무딘 도구라며 공개 반대하기도 했다. 규제가 자사에 유리할 때만 찬성한 것이 아니라, 규제 공백이 자사에 유리한 국면에서도 규제를 요구해 온 기록이 있다.

둘째, 역사에는 바루크 플랜만 있는 것이 아니다. 1975년 캘리포니아 아실로마에 모인 과학자들은 유전자 재조합 기술의 위험을 스스로 경고하고 자발적 연구 유예를 선언했다. 그 모임을 주도한 폴 버그는 다름 아닌 이 분야를 개척해 훗날 노벨상을 받은, 말하자면 그 시대 유전공학의 세계 1등이었다. 가장 앞서 달리던 사람들이 멈춤을 선언했고, 그렇게 만들어진 안전 지침 위에서 바이오 산업은 사회적 신뢰를 잃지 않고 성장했다. 선두 주자의 경고가 언제나 해자 구축인 것은 아니며, 때로는 가장 멀리 가본 사람만이 절벽을 먼저 본다는 반례다.

셋째, 이번 보고서의 내용 자체가 마케팅으로 보기에는 이상한 구석이 있다. 공포 마케팅이 목적이라면 자사 모델의 한계를 굳이 적을 이유가 없는데, 보고서는 코드량 지표가 생산성을 과장한다는 점, 자동 연구 실험이 실제 생산 규모 모델에는 깨끗하게 이전되지 않았다는 점, 직원들의 생산성 체감이 과대평가됐을 가능성을 각주까지 달아가며 스스로 깎아내린다. 무엇보다 검증 가능한 상호 정지라는 제안은 실현되면 앤트로픽 자신의 손발도 묶는 장치다. 해자를 파려는 기업이 자기 자신에게도 적용되는 족쇄의 설계도를 먼저 그려서 공개하는 경우는 흔치 않다.

넷째, 아모데이가 수년째 반복해 온 정상을 향한 경주라는 논리가 있다. 이 경주는 내가 빠진다고 멈추지 않으며, 그렇다면 위험을 가장 깊이 이해하는 조직이 선두에 서서 안전 기준을 업계 표준으로 끌어올리는 것이 차선이 아니라 최선이라는 주장이다. 이 논리를 받아들이면 가장 빠르게 달리면서 멈춤을 말하는 것은 모순이 아니라 전략의 두 축이 된다. 물론 비판자들은 바로 이 논리야말로 문명 단위의 자기합리화라고 부른다. 경주에 참여해야 할 이유는 언제나 찾을 수 있고, 멈춰야 할 시점은 언제나 다음으로 미뤄지기 때문이다.

동기를 묻는 대신 구조를 보자

그래서 결론은 무엇인가. 진심인가 전략인가. 나는 이 질문 자체가 함정이라고 생각한다.

사람의 동기는 단일하지 않다. 1등을 지키고 싶은 마음과 출혈 경쟁을 줄이고 싶은 계산, 그리고 가장 끝까지 달려본 사람만이 아는 공포는 한 사람 안에 동시에 존재할 수 있다. 심지어 본인조차 그 세 마음의 비율을 정확히 모를 가능성이 크다. 외부에서 그것을 판별하겠다는 시도는 결국 각자의 선입견을 확인하는 작업으로 끝난다. 판별할 수 없는 것을 붙들고 논쟁하는 동안 정작 판별할 수 있는 것들이 시야에서 사라진다.

판별할 수 있는 것은 구조와 행동이다. 앤트로픽이 제안한 검증 체계가 제안자 자신에게 먼저, 그리고 똑같이 적용되도록 설계되는가. 멈춤의 발동 조건과 해제 조건을 누가 정의하고 누가 판정하는가. 검증 인프라가 만들어지는 동안 벌어지는 격차를 어떻게 처리할 것인가. 그리고 언젠가 그들이 정의한 조건이 실제로 충족되는 날, 분기 매출과 주주가 생긴 상장사 앤트로픽이 정말로 멈추는가. 진정성은 선언이 아니라 자신에게 불리한 순간의 행동으로만 증명된다. 바루크 플랜과 아실로마를 가른 것도 결국 그것이었다.

다만, 이 글을 읽는 한국의 기업과 정책 담당자에게는 한 가지를 덧붙이고 싶다. 동기 논쟁이 어떻게 결론 나든, 이 보고서에 담긴 데이터는 동기와 무관하게 실재한다. 코드의 80%를 AI가 쓰는 조직이 이미 존재하고, AI가 수행 가능한 작업의 길이는 4개월마다 두 배가 되고 있으며, 100명짜리 회사가 1만 명짜리 회사의 일을 하는 시나리오가 가장 보수적인 전망으로 분류되는 문서다. 우리가 아모데이의 속내를 추측하는 데 쓰는 시간만큼, 그 가속이 우리 조직의 인력 구조와 업무 설계에 무엇을 의미하는지 계산하는 데 쓰고 있는지 자문해 볼 일이다. 정지 신호의 진정성을 의심하는 것과 가속의 실재를 부정하는 것은 전혀 다른 문제인데, 우리는 종종 전자의 의심을 후자의 부정과 불신에 대한 면허처럼 사용한다.

이전 글에서 나는 지금의 AI 경쟁을 멈출 수 없는 열차에 비유하면서, 우리 모두가 그 가속의 공범이라고 썼다. 이번에 확인한 것은 그 열차의 기관사가 처음으로 비상 제동 장치의 설계도를 꺼내 보였다는 사실이다. 설계도를 그린 손의 의도는 끝내 알 수 없을 것이다. 다만 한 가지는 분명하다. 제동 장치는 의도가 아니라 설치되어야 작동하고, 그것이 정말 작동하는지는 기관사가 자기 열차부터 세우는 순간에야 확인된다. 우리가 지켜봐야 할 것은 그의 말이 아니라 그 순간이다.

이 칼럼은 [AI와 인간 사이] 시리즈의 아홉 번째 글입니다.

이미지 출처: 이디오그램 생성