[AI와 인간 사이] 안전? 그는 ‘돈미새’일 뿐이다… 윤리와 안전을 이유로 오픈AI를 떠난 연구부사장 ‘다리오 아모데이’

2019년 2월 14일, 오픈AI는 자사가 개발한 언어모델 GPT-2를 공개하며 한 마디를 덧붙였다. “이 모델은 악용 가능성이 너무 높아 전체 공개하지 않겠다.” 15억 개의 파라미터를 가진 이 모델은, 당시 기준으로 인간이 쓴 것과 구별하기 어려운 수준의 텍스트를 생성할 수 있었다. 오픈AI는 작은 버전만 먼저 풀고, 풀 모델의 가중치와 학습 데이터는 봉인했다. 메트로 UK는 “인류를 위해 가둬둬야 할 AI”라고 제목을 뽑았고, CNET은 “무섭도록 뛰어난 텍스트 생성기”라는 헤드라인을 올렸다.

그 결정의 중심에 한 사람이 있었다. 다리오 아모데이(Dario Amodei). 당시 오픈AI의 연구부사장(Vice President of Research)이자, GPT-2와 GPT-3의 개발을 직접 이끈 핵심 연구자였다.

9개월 뒤인 2019년 11월, 오픈AI는 GPT-2 풀 모델을 결국 공개했다. “우려했던 수준의 악용 사례가 발견되지 않았다”는 이유였다. 그리고 이듬해 GPT-3를 API를 통해 세상에 내놓았다. ‘너무 위험하다’던 모델은, 결국 세상에 풀렸고, 더 강력한 후속 모델도 뒤따랐다. 당시 AI 커뮤니티의 일부는 이렇게 평가했다. “안전을 이유로 공개를 미뤘지만, 결국 다 공개했다. PR이었을 뿐이다.”

그런데 아모데이는 이 경험에서 다른 결론을 내렸다.

“비전이 달랐다” – 다리오 아모데이의 이탈

2020년 말, 아모데이는 오픈AI를 떠났다. 그리고 2021년 초, 여동생 다니엘라 아모데이(Daniela Amodei)를 포함한 오픈AI 출신 6명과 함께 앤트로픽(Anthropic)을 설립했다. 2024년 11월 팟캐스터 렉스 프리드먼과의 인터뷰에서 아모데이는 이 결정에 대해 이렇게 말했다. “마이크로소프트 딜 때문에 떠났다는 건 거짓이다. 진짜 이유는 다른 사람의 비전 속에서 논쟁하는 것이 생산적이지 않았기 때문이다. 신뢰할 수 있는 사람들과 함께 우리의 비전을 실현하겠다.”

그 비전의 핵심은 두 가지였다. 첫째, AI 모델은 규모가 커질수록 더 강력해지며 그 끝이 보이지 않는다. 둘째, 그 강력함에는 반드시 안전(alignment)이라는 카운터웨이트가 필요하다. 오픈AI 내부에서 이 두 가지를 동시에 추구하는 것이 불가능하다고 판단한 아모데이는, 스스로 그 구조를 만들기로 결심한 것이다.

앤트로픽은 공익법인(Public Benefit Corporation) 구조로 설립되었다. 헌법적 AI(Constitutional AI)라는 독자적 학습 방법론을 개발했다. 인간 피드백 대신, 모델에게 직접 윤리적 원칙을 내장하는 방식이었다. “안전은 사후 조치가 아니라 설계의 일부여야 한다.” 이것이 앤트로픽의 창립 선언이었고, 아모데이라는 인물의 존재 이유였다.

2025년 타임지 선정 세계에서 가장 영향력 있는 100인. 2026년 2월 기준 기업가치 3,500억 달러. 그리고 포브스 추산 개인 자산 70억 달러. ‘안전 제일’을 외치며 출발한 연구자는, 5년 만에 세계에서 가장 빠르게 성장하는 AI 기업의 CEO가 되었다.

그런데 바로 그 CEO가 지금, 7년 전 자신이 오픈AI에서 했던 것과 정확히 같은 결정을 내렸다.

2026년 4월 7일: “너무 위험하다”의 귀환

앤트로픽은 자사의 최신 모델 ‘클로드 미토스 프리뷰(Claude Mythos Preview)’를 공개하며, 일반 공개를 하지 않겠다고 선언했다. 이유는 사이버 보안 능력이 너무 강력하기 때문이라는 것이었다.

앤트로픽의 시스템 카드에 따르면, 미토스 프리뷰는 사전 테스트에서 모든 주요 운영체제와 웹 브라우저에서 수천 개의 고위험 취약점을 자율적으로 발견했다. OpenBSD에서 27년간 인간 보안 감사를 통과한 버그를 찾아냈고, FFmpeg의 H.264 코덱에서 16년 된 취약점을 탐지했다. 리눅스 커널의 결함을 발견하고, 이를 자율적으로 연쇄 활용해 원격 시스템 전체를 장악하는 익스플로잇을 첫 시도에 작성했다. 개념 증명(PoC) 익스플로잇의 성공률은 83.1%.

앤트로픽의 공격 사이버 연구 책임자 로건 그레이엄은 이렇게 말했다. “이 모델은 취약점을 발견할 뿐 아니라 무기화할 수 있다. 여러 취약점을 연쇄적으로 결합하는 자율성과 장거리 계획 능력이 이전 모델과 질적으로 다르다.”

더 충격적인 것은 시스템 카드의 다른 발견이었다. 미토스 프리뷰는 평가 과정에서 자신이 평가받고 있다는 사실을 약 29%의 트랜스크립트에서 인지하는 행동을 보였다. 일부 테스트에서는 의도적으로 실제 능력보다 낮은 성과를 보여, 덜 의심스럽게 보이려는 전략적 행동까지 관찰되었다. 모델이 ‘연기’를 한 것이다.

앤트로픽은 이 모델의 일반 공개 대신 ‘프로젝트 글래스윙(Project Glasswing)’이라는 제한적 배포 프로그램을 가동했다. AWS, 애플, 마이크로소프트, 구글, 엔비디아, 시스코, 크라우드스트라이크, JPMorgan Chase, 팔로알토 네트웍스, 리눅스 재단 등 12개 창립 파트너에게 1억 달러 규모의 사용 크레딧을 제공하고, 40개 이상의 추가 조직에게도 제한적 접근을 허용했다. 일반 소비자에게는? 접근 자체가 차단되었다.

7년 전 GPT-2는 “인간이 쓴 것 같은 글을 생성할 수 있다”는 이유로 공개가 미뤄졌다. 9개월 후 전면 공개됐고, 더 강력한 GPT-3도 곧바로 뒤따랐다. 하지만 2026년의 미토스는 다르다. 단계적 공개 로드맵조차 제시되지 않았다. “최종 목표는 미토스급 모델을 안전하게 배포하는 것이지만, 그 전에 사이버 보안 세이프가드가 먼저 준비되어야 한다.” 앤트로픽의 공식 입장이다.

같은 사람, 같은 결정. 그러나 7년 전과 지금 사이에는 근본적인 차이가 있다. 2019년의 ‘너무 위험하다’는 9개월짜리 마케팅에 가까웠다. 2026년의 ‘너무 위험하다’는 진짜일 수도 있다. 하지만 동시에, 진짜가 아닐 수도 있다. 왜냐하면 앤트로픽에게는 미토스를 공개하지 않아야 할 또 다른 이유가 있기 때문이다.

앤트로픽의 진짜 딜레마: 매출 300억 달러, 적자 140억 달러

숫자부터 보자.

2026년 4월 기준 앤트로픽의 연간 환산 매출(ARR)은 300억 달러를 돌파했다. 2024년 12월의 10억 달러에서 15개월 만에 30배. SaaStr의 분석에 따르면, 기업 소프트웨어 역사상 이 규모에서 이 속도로 성장한 기업은 없다. 슬랙도, 줌도, 스노우플레이크도 이런 적이 없다.

그런데 매출 300억 달러 기업이 흑자가 아니다. 앤트로픽의 투자 라운드를 주도한 코아투(Coatue)의 투자자 자료에 따르면, 2026년 예상 매출 180억 달러에 EBITDA 기준 140억 달러의 적자가 예상된다. 모델 학습에 120억 달러, 추론(inference) 인프라에 70억 달러. 매출의 매 1달러마다 절반 이상이 GPU 클러스터로 증발한다. 총이익률은 2024년 -94%에서 2025년 약 40%로 개선되었지만, 추론 비용이 내부 예측치를 23% 초과하면서 목표치에는 미달이다.

이 적자의 핵심에 B2C 구독 모델의 구조적 문제가 있다.

앤트로픽의 소비자 요금제를 보자. 프로(Pro) 플랜은 월 20달러. 맥스(Max) 플랜은 월 100달러(5배 사용량) 또는 200달러(20배 사용량). 이것이 앤트로픽이 일반 소비자에게 받을 수 있는 최대치다.

한편, API 요금을 보자. 클로드 Opus 4.6은 입력 100만 토큰당 5달러, 출력 100만 토큰당 25달러. 미토스 프리뷰는 입력 25달러, 출력 125달러. 파워유저가 하루에 처리하는 토큰량으로 환산하면, 월 20달러 프로 구독 한 건이 실제로는 236달러 이상의 API 사용량에 해당한다고 테크 전문매체 더 레지스터(The Register)는 보도했다. 어떤 측정 방식으로는 구독 가격 대비 실제 사용 가치가 36배에 달한다.

이것은 지속 가능한 구조가 아니다. 그리고 그 사실을 가장 잘 아는 당사자는 바로 앤트로픽이다.

오픈클로 사건: “뷔페는 끝났다”

2026년 4월 4일, 앤트로픽은 결정적인 조치를 취했다. 클로드의 프로 및 맥스 구독자가 오픈클로(OpenClaw)를 포함한 서드파티 에이전트 프레임워크에 구독 계정을 연결해 사용하는 것을 전면 금지한 것이다.

오픈클로는 오스트리아 개발자 피터 슈타인버거가 만든 오픈소스 AI 에이전트 프레임워크다. 사용자가 클로드 구독 계정의 OAuth 인증을 통해 에이전트를 24시간 자동 가동할 수 있게 해주는 도구였다. 월 20달러짜리 구독으로 API를 대체하는 셈이었다. 금지 시점에 추정 13만 5천 개 이상의 오픈클로 인스턴스가 가동 중이었다.

PYMNTS의 보도에 따르면, 월 200달러짜리 맥스 구독 하나가 실제로는 1,000달러에서 5,000달러 상당의 에이전트 컴퓨팅 작업을 처리하고 있었다. 정액 구독이 사실상 API 비용을 보조하는 구조였던 것이다.

앤트로픽의 클로드 코드(Claude Code) 총괄 보리스 체르니는 X에 이렇게 썼다. “우리의 구독은 이런 서드파티 도구의 사용 패턴을 위해 만들어진 것이 아니다. 용량은 신중하게 관리해야 하는 자원이며, 우리는 자사 제품과 API를 사용하는 고객을 우선한다.”

AI 프로덕트 매니저 아카시 굽타의 표현이 더 직설적이었다. “월 20달러짜리 뷔페가 문을 닫았다.”

슈타인버거의 반응은 격렬했다. 그는 2026년 2월 오픈AI로 이직한 상태였다. “먼저 인기 기능을 자기네 폐쇄형 하네스에 복제해놓고, 그다음 오픈소스를 차단한다.” 그는 앤트로픽과 직접 협상을 시도했지만, 시행을 1주일 늦추는 것이 전부였다고 밝혔다.

TNW의 보도에 따르면, 일부 사용자들은 API 전환 시 비용이 이전의 50배까지 증가할 수 있으며, 이로 인해 경쟁 모델로 이동할 수밖에 없다고 호소했다. 실제로 오픈AI와 여러 중국 AI 기업들은 여전히 유사한 구독 기반 접근을 허용하고 있다.

역설의 완성: 안전인가, 비용인가

이제 두 개의 타임라인을 겹쳐보자.

3일 간격의 두 결정은 서로 다른 이유를 내세우지만, 경제적으로는 동일한 방향을 가리킨다. 비용이 많이 드는 모델일수록 일반 소비자에게 제공하기 어렵다는 사실이다.

미토스 프리뷰의 사이버 보안 능력이 진짜 위험한가? 그렇다. 27년 된 버그를 찾아내고, 브라우저 익스플로잇 4개를 자율적으로 연쇄 결합하는 모델은 분명히 위험하다. 앤트로픽의 레드팀 보고서에 따르면, 이전 최강 모델인 Opus 4.6의 자율 익스플로잇 개발 성공률은 거의 0%였다. 미토스는 질적으로 다른 단계다. 이 부분에서 앤트로픽의 판단은 합리적이다. 저명 개발자 사이먼 윌리슨도 “이번에는 신중함이 정당하다고 본다”고 평가했다.

그러나 동시에 이것도 사실이다. 미토스급 모델을 일반 소비자에게 월 20달러에 제공하는 것은 경제적으로 불가능하다. 미토스의 API 가격은 입력 100만 토큰당 25달러, 출력 100만 토큰당 125달러다. Opus 4.6의 5배다. 이 모델을 구독 요금제로 제공하면, 파워유저 한 명이 하루 만에 월 구독료의 수십 배를 소진한다. 오픈클로 사태가 바로 그것을 증명했다.

그렇다고 구독료를 미토스의 실제 비용에 비례해서 올리는 것도 현실적으로 불가능하다. 소비자의 심리적 저항선은 월 200달러 부근이다. 이것을 초과하면? 딥시크(DeepSeek), Kimi 등 중국 오픈소스 모델을 파인튜닝하거나, GPT-5.4로 넘어가는 것이 합리적 선택이 된다. 실제로 오픈클로 차단 이후, TNW는 “경쟁 모델로 이동할 수밖에 없다”는 사용자 반응을 다수 보도했다.

링크드인에서 한 개발자의 코멘트가 이 상황을 가장 정확하게 짚었다. “아무도 자기 모델이 무서워서 공개하지 않는 것이 아니다. 미토스는 Opus보다 약간 나은 수준일 것이고, 커널 제로데이와 크롬 취약점은 Sonnet에 도구 몇 개만 붙여도 연구자들이 달성할 수 있었다. 공개하지 않은 이유는 학습 비용이 비싸서 중국 기업들이 증류(distill)하기 전에 돈을 벌어야 하기 때문이다.”

안전의 논리와 비용의 논리. 어느 쪽이 진짜인가? 아마 둘 다 진짜다. 그리고 바로 그것이 아모데이의 딜레마다.

다리오 아모데이의 선택지

다리오 아모데이는 2019년 오픈AI에서 GPT-2의 공개 유보를 주도했다. “안전”이 이유였다. 그는 그 경험을 바탕으로, 안전을 기업의 존재 이유로 삼겠다며 2021년 앤트로픽을 창업했다. 5년 뒤인 2026년, 그는 다시 한 번 자사의 최강 모델의 일반 공개를 거부했다. 역시 “안전”이 이유다.

그러나 2019년과 2026년 사이에 결정적인 차이가 있다.

2019년의 오픈AI는 비영리 연구기관이었다. 모델 공개를 유보해도, 미뤄도, 결국 풀어도, 재무적 영향은 미미했다. 실제로 GPT-2는 9개월 뒤 전량 공개되었고, 더 강력한 GPT-3는 API로 바로 제공되었다.

2026년의 앤트로픽은 기업가치 3,500억 달러, 연간 환산 매출 300억 달러, 그러나 연간 적자 140억 달러를 기록하는 상업 기업이다. 10월 IPO가 거론되고 있다. 이 기업에게 “어떤 모델을 누구에게 제공하느냐”는 윤리적 판단인 동시에, 아니 어쩌면 그 이전에, 생존의 문제다.

아모데이 앞에 놓인 선택지는 세 가지 뿐이었다.

첫째, 미토스급 모델을 일반 공개하고 구독료를 현행 유지한다. 안전 문제를 일단 넘기더라도, 적자가 가속된다. 파워유저가 늘어날수록 손해가 커지는 구조에서 모델 성능 향상은 오히려 재무적 리스크가 된다.

둘째, 미토스급 모델을 공개하되 구독료를 대폭 인상한다. 월 500달러? 1,000달러? 소비자 이탈이 불가피하다. 중국 오픈소스 진영이나 오픈AI의 무제한 구독 전략으로 시장이 흡수된다.

셋째, 미토스급 모델의 일반 공개 자체를 하지 않는다. B2B 기업 고객에게만 API 단가로 제공한다. “안전”이라는 명분은 이 결정을 정당화하는 데 완벽하게 작동한다.

아모데이는, 앤트로픽은 세 번째 선택지를 택했다. 그리고 이것은 앤트로픽의 사업 구조를 보면 가장 합리적인 선택이다. 앤트로픽 매출의 약 80%는 기업 고객에서 나온다. API 매출이 전체의 70~75%를 차지한다. 소비자 구독은 규모는 크지만 수익성은 낮다.

앤트로픽에게 일반 소비자 시장은 전략적으로 중요하지만, 경제적으로는 짐이다. 특히 모델 성능이 올라갈수록 그 짐은 무거워진다. 구독료는 정액인데, 모델이 소비하는 컴퓨팅 자원은 기하급수적으로 증가하기 때문이다.

결론: 윤리는 비즈니스 모델이 될 수 있는가

다리오 아모데이는 “안전 최우선”이라는 깃발을 들고 오픈AI를 떠났다. 그 깃발이 5년 만에, 기묘한 방식으로 유용해지고 있다.

미토스를 일반 공개하지 않는 것은 안전의 관점에서 옳다. 그것은 동시에 비용의 관점에서도 옳다. 그것은 또한 IPO를 앞둔 기업의 재무 관점에서도 옳다. 안전이라는 가치와 수익이라는 현실이 같은 방향을 가리킬 때, 그 결정은 고결한 것인가 영리한 것인가?

2026년 2월, 포춘과의 인터뷰에서 아모데이는 이렇게 말했다. “우리는 엄청난 상업적 압박을 받고 있고, 다른 기업보다 더 많은 안전 관련 작업을 수행함으로써 스스로를 더 어렵게 만들고 있다.” 60분 인터뷰에서 앤더슨 쿠퍼가 물었다. “누가 당신과 샘 올트먼을 선출했습니까?” 아모데이가 답했다. “소수의 기업이, 소수의 사람이 이런 결정을 내리는 것이 근본적으로 불편하다.”

이 말은 진심일 수 있다. 그러나 진심이라고 해서, 그 결정이 경제적 이해관계와 무관한 것은 아니다.

2019년의 아모데이는 “안전”을 말하며 모델 공개를 9개월 미뤘다. 2026년의 아모데이는 “안전”을 말하며 모델 접근 자체를 차단했다. 그 사이에 변한 것은 아모데이의 신념이 아니다.

변한 것은 모델의 비용이고, 기업의 규모이고, 시장의 구조다.

안전이라는 깃발은 여전히 같은 자리에 서 있다. 다만 그 깃발이 가리키는 방향이, 7년 전에는 ‘책임 있는 연구자’를 향했다면, 지금은 ‘수익성 있는 기업’을 향하고 있다. 아모데이가 바뀐 것이 아니라, 그가 서 있는 땅이 바뀐 것이다. 그리고 그것이 이 이야기의 가장 불편한 지점이다.

한 가지만 더. 앤트로픽은 2027년까지 현금흐름 흑자 전환을 예상하고 있다. 오픈AI는 2030년으로 잡았다. 두 기업 모두 적자지만, 적자의 궤도가 다르다. 만약 앤트로픽이 먼저 흑자에 도달한다면, 그때의 아모데이는 미토스급 모델을 일반 공개할까?

그때 그가 내세울 이유가 “안전”이 아니라 “비용”이라면, 적어도 그것은 정직한 답일 것이다.

이 칼럼은 [AI와 사람 사이] 시리즈의 두 번째 글입니다.