[AI와 인간 사이] AI기업의 토큰 리셋, 사과인가 조련인가

지난 7월 12일, 세레브랩(cereblab)이라는 이름으로 활동하는 독립 보안 연구자가 분석 결과 하나를 공개했다. xAI의 코딩 에이전트 그록 빌드(Grok Build)가 사용자의 컴퓨터에서 무엇을 내보내는지, 네트워크 트래픽을 직접 가로채 들여다본 것이다. 숫자가 모든 것을 말해 주었다. 12기가바이트짜리 테스트 저장소에서 모델이 코딩 작업을 위해 실제로 주고받은 데이터는 192킬로바이트였다. 그런데 같은 세션에서 별도의 채널을 타고 xAI가 관리하는 클라우드 저장소로 올라간 데이터는 5.1기가바이트, 대략 2만 8천 배였다. 아무 파일도 읽지 말라고 지시한 세션에서도 저장소 전체가 커밋 이력까지 남김 없이 업로드되었고, 가로챈 데이터를 복원해 보니 에이전트에게 열지 말라고 못 박아 둔 파일과 한때 커밋했다가 지운 비밀키까지 고스란히 담겨 있었다. 데이터 제공을 막는 장치처럼 보이는 ‘모델 개선’ 설정을 꺼도 업로드는 멈추지 않았다.

파장은 컸다. 회사의 사활이 걸린 코드를 에이전트에게 맡겨 온 개발자들이 들끓었고, 일론 머스크는 수집된 데이터를 아무것도 남기지 않고 전부 지우겠다고 약속했다. 그리고 사흘 뒤인 7월 15일, xAI는 공식 답을 내놓았다. 에이전트를 움직이는 하네스 코드 전체를 오픈소스로 공개하고, 그동안 쌓인 사용자 데이터를 삭제하며 보존 기능도 기본값에서 끄고, 전 사용자의 사용량 제한을 리셋한다는 것이었다. 커뮤니티 타임라인에는 곧바로 하트 이모지가 올라오기 시작했다. 오늘 모두의 사용량이 리셋되었다는 환호였다.

이 장면에서 내가 오래 들여다본 것은 세 번째 조치다. 코드 공개와 데이터 삭제는 사건과 논리적으로 이어진다. 그런데 사용량 리셋은 대체 무엇에 대한 답인가. 새어 나간 것은 코드와 비밀키인데, 돌아온 것은 토큰이다.

사죄와 축하가 같은 화폐로 지불된다

토큰 리셋은 xAI만의 임기응변이 아니다. 올해 상반기 프런티어 AI 업계를 돌아보면, 이것은 이미 업계의 공용 화폐에 가깝다.

앤트로픽(Anthropic)은 3월과 4월에 걸쳐 유료 사용자들의 사용량이 비정상적으로 빨리 소진되는 사태를 겪었다. 제품 책임자가 나쁜 경험을 드려 죄송하다고 사과했지만, 그 사과문에 상위 모델 대신 하위 모델을 쓰라는 권고가 함께 담기는 바람에 결국 당신이 잘못 쓰고 있다는 말로 읽혔고, 사과는 오히려 역풍을 맞았다. 4월 23일 회사는 세 건의 엔지니어링 실수를 인정하는 문서를 내면서 전 구독자의 사용량을 리셋했다. 사과의 의미라고 했다. 그리고 지난 7월 10일에는 아무런 설명 없이 다시 전 사용자의 사용량을 리셋했다. 공교롭게도 5월부터 한시적으로 제공하던 주간 한도 50퍼센트 상향이 만료되기 사흘 전이었다.

오픈AI(OpenAI)의 6월 말은 더 극적이었다. 코딩 에이전트 코덱스(Codex)에서 부정 사용을 막으려고 넣어 둔 시스템이 오작동하면서 유료 사용자들의 크레딧이 평소의 열 배가 넘는 속도로 타 버렸다. 회사는 주말에 비상 대응조를 꾸렸고, 이틀 사이 세 차례에 걸쳐 전 사용자의 사용량을 리셋했다. 엔지니어링 책임자는 토큰이 다시 흐르게 하라는 농담 섞인 문장으로 상황 종료를 알렸다. 흥미로운 것은 사용자 커뮤니티의 관찰이다. 코덱스 팀은 큰 버그를 고쳤을 때에도 리셋을 해 주었지만, 사용자 수가 이정표를 넘어 자축할 때에도 리셋을 선물해 왔다. 사죄와 축하가 같은 화폐로 지불되고 있는 것이다.

xAI 역시 이번이 처음이 아니어서, 그록 빌드는 베타 초기인 5월에도 한도가 너무 빨리 닳는다는 불만이 쌓이자 전 계정 리셋으로 답한 적이 있다. 구글의 패턴은 조금 다르다. 사과성 리셋 사례는 찾기 어렵지만, 유료 구독자에게는 한도 상향을 판촉 카드로 내밀고 무료 사용자에게는 상위 모델 접근을 끊고 트래픽 우선순위를 낮추는 식으로, 같은 화폐를 반대 방향으로 쓴다. 한도는 어느 회사에서는 상이 되고 어느 회사에서는 벌이 되지만, 그것을 정하는 쪽이 언제나 회사라는 점만은 같다.

이 사과의 화폐는 발행 비용이 거의 들지 않는다

왜 하필 토큰일까. 답을 찾으려면 이 화폐가 어떻게 발행되는지를 봐야 한다.

우리에게는 익숙한 비교 사례가 있다. 2022년 데이터센터 화재로 카카오의 서비스가 멈췄을 때, 카카오가 일반 이용자에게 내놓은 보상은 이모티콘 3종과 쿠폰이었다. 업계가 추산한 액면가는 5천억 원이 넘었지만 실제 부담은 그보다 훨씬 적었다. 이모티콘은 처음 만들 때만 비용이 들고, 쿠폰은 실제 결제가 일어나야 비용이 발생하며, 한 달 무료로 얹어 준 구독 서비스는 기간이 끝나면 유료 정기결제로 넘어가는 구조였다. 이게 보상이냐 장사냐는 반발이 나온 이유다. 반대편 극단에는 2024년의 크라우드스트라이크(CrowdStrike)가 있다. 전 세계 공항과 병원을 멈춰 세운 대규모 장애를 일으킨 뒤 협력사들에게 10달러짜리 배달 앱 기프트카드를 돌렸다가 두고두고 조롱거리가 되었다. 현금성 보상은 불편의 가격을 명시하는 순간 모욕으로 바뀐다. 10달러라는 숫자가 붙는 순간, 그것이 곧 멈춰 버린 내 하루의 값이 되기 때문이다.

토큰 리셋은 이 딜레마를 우아하게 비켜 간다. 자사가 발행하는 화폐로 지불하니 나가는 현금이 없고, 어차피 놀고 있는 서버 용량과 받아 놓고도 다 쓰지 못하는 몫이 실제 비용을 더 끌어내린다. 금액이 표시되지 않으니 보상액을 둘러싼 조롱이 원천적으로 불가능하고, 신청 절차도 증빙 서류도 없이 서버에서 일괄 지급되며, 법적으로 배상 책임을 인정하는 문장은 단 한 줄도 필요하지 않다. 결정적으로 리셋의 수혜는 한도에 부딪히며 사는 헤비유저, 그러니까 회사 입장에서 가장 가치 있고 이탈이 가장 두려운 고객층에 정확히 꽂힌다. 사과의 형식을 빌렸지만 실질은 떠나려는 고객을 붙잡는 마케팅에 가깝다고 해도, 크게 억울해 할 회사는 없을 것이다.

당근이 도착하는 리듬

여기까지가 돈의 장부라면, 마음의 장부도 있다. 내가 이 주제를 컬럼으로 쓰기로 마음먹은 이유는 사실 이쪽이다.

심리학이 오래전에 확인한 사실 하나가 있다. 언제 올지 모르는 보상이 가장 끈질긴 행동을 만든다는 것이다. 매번 주는 보상보다 가끔, 예측할 수 없게 주는 보상이 행동을 더 단단히 붙들어 매고, 슬롯머신이 바로 그 원리 위에 설계되어 있다. 그런데 토큰 리셋이 도착하는 리듬이 정확히 그렇다. 버그가 터진 다음에, 장애가 지나간 다음에, 이정표를 자축할 때, 그리고 가끔은 아무 설명 없이. 사용자는 리셋을 기다리는 법을 배우고, 리셋이 뜨면 타임라인에 하트를 올리고, 어느 순간부터는 사고 소식에서 리셋의 예감부터 읽는다. 실제로 리셋이 반복되자 이제는 리셋의 범위가 항의의 대상이 되었다. 지난달 앤트로픽이 버그의 영향을 받은 약 3퍼센트의 사용자에게만 리셋을 적용하자 왜 전원이 아니냐는 반발이 쏟아졌다. 은혜였던 것이 어느새 채권이 된 것이다.

두 번째 효과는 더 미묘하다. 내가 돈을 내고 산 사용량이 회사의 실수로 증발했다가 돌아올 때, 그것은 분명 권리의 회복인데도 선물의 형식으로 포장된다. 회사가 베푸는 형식이 반복될수록 미터기의 정당성은 매번 새로 갱신되고, 미터기가 채워지는 순간의 작은 만족이 미터기가 왜 그렇게 생겼는지에 대한 질문을 조용히 밀어낸다.

그리고 세 번째가 이번 사건의 핵심이다. 범주가 바꿔치기된다는 것이다. 그록 빌드 사건에서 피해는 프라이버시였다. 코드가, 비밀키가, 지웠다고 믿었던 커밋 이력이 회사 서버로 나갔다. 그런데 보상은 사용량으로 도착했다. 아무도 항의하지 않은 손해에 대한 보상이 모두가 항의하는 손해 위에 얹히면 대화의 주제가 바뀐다. 무엇을 가져갔는지 묻던 타임라인이 어느새 무엇을 받았는지 세기 시작한다. xAI는 지금까지도 왜 저장소 전체 업로드가 기본값이었는지 설명하지 않았다. 공식적인 보안 권고문도 내지 않았다. 사건의 수습은 경영진의 소셜 미디어 게시물과 리셋 알림으로 진행되었다. 어차피 당신들은 이 도구를 계속 쓸 것이고, 사용량을 더 주면 화가 풀리지 않겠느냐는 계산이 이 리듬의 밑바닥에 어른거린다고 읽는 것이, 과연 지나친 독해일까.

그러면 무엇으로 사과해야 하는가

여기까지 읽으면 기업들이 괘씸해 보이겠지만, 공정하려면 반대편의 사정도 최대한 튼튼하게 세워 봐야 한다. 실제로 세워 보면 생각보다 만만치 않다.

우선 피해가 토큰으로 발생했다면 토큰은 가장 정확한 배상 수단이다. 오픈AI의 6월 사태에서 사용자들이 잃은 것은 문자 그대로 사용량이었고, 그것을 즉시, 전원에게, 증빙 서류 한 장 요구하지 않고 복원해 주는 것보다 원상회복의 원칙에 충실한 조치를 떠올리기는 어렵다. 현금 환불의 산수도 초라하다. 월 3만 원짜리 구독에서 하루치 장애를 일할로 계산하면 1천 원이다. 카카오가 보상액 산정의 순간부터 조롱받았듯, 금액을 명시하는 보상은 불편에 가격표를 붙이는 일이고 그 가격표는 거의 언제나 모욕적으로 낮게 나온다. 법적인 현실도 있다. 특히 미국에서 공식 사과문은 소송에서 책임 인정의 근거로 쓰일 수 있어 법무팀이 문장을 깎아 낸다. 클라우드 산업은 이 문제를 20년 가까이 서비스의 손해를 서비스 이용권으로 갚는 관행, 이른바 SLA 크레딧으로 처리해 왔으니, 토큰 리셋은 낯선 발명품이라기보다 그 관행의 연장선에 있다.

xAI를 변호할 거리도 있다. 이번 대응은 리셋만이 아니었다. 하네스 코드 전체 공개와 수집 데이터 전량 삭제는 사건의 성격에 정확히 닿는 구조적 조치였고, 그 하네스가 내 저장소에서 무엇을 하는지 이제 코드로 직접 검증할 수 있게 되었다는 것은 실질적인 변화다. 여전히 폐쇄형으로 남아 있는 경쟁 도구들보다 검증 가능성 면에서는 오히려 한발 앞선 답이라는 평가도 가능하다. 이렇게 보면 리셋은 그 패키지에 곁들여진 서비스였을 뿐이라는 것이다.

사용자가 마냥 길들여지기만 하는 것도 아니다. 자기 사용 패턴을 정교하게 짜 둔 사용자들이 예고 없는 일괄 리셋이 오히려 계획을 망친다고 항의하자, 오픈AI는 원할 때 꺼내 쓸 수 있도록 리셋을 적립해 두는 기능을 만들었다. 화폐가 생기면 그 화폐의 사용 조건을 놓고 흥정이 시작되는 법이다. 조련의 방향이 꼭 한쪽만은 아니라는 방증이기도 하다.

피해와 보상이 어긋나는 자리

양쪽을 다 세워 놓고 보면 문제의 초점이 옮겨 간다. 토큰이라는 화폐 자체가 아니라, 피해와 보상 사이의 정합성이다.

사용량 피해에는 사용량 보상이 정합적이다. 그 지점에서 토큰 리셋을 비난할 이유는 없다. 그러나 프라이버시 피해에 정합적인 보상은 따로 있다. 왜 그런 설계가 기본값이었는지에 대한 원인 규명, 제3자가 검증할 수 있는 삭제 증명, 경영진의 게시물이 아닌 공식 보안 권고문, 수집된 데이터가 어디에 얼마나 보존되었고 무엇에 쓰였는지에 대한 기록 공개 같은 것들이다. xAI는 이 목록에서 코드 공개라는 한 항목을 이행했지만 첫 번째 질문에는 끝내 침묵했고, 그 침묵 위에 리셋이 얹혔다. 공개된 저장소가 외부 기여를 받지 않는다는 안내문까지 읽고 나면, 이번 공개의 목적이 협업보다는 증명에 있다는 점도 분명해진다. 물론 증명에도 가치는 있다. 다만 증명이 해명을 대신할 수는 없다.

그러니 리셋 자체가 문제인 것이 아니다. 리셋이 사건의 마지막 문장이 되는 것이 문제다. 미터기가 다시 채워지는 것이 계산이 끝났다는 신호로 통용되는 순간, 아직 시작도 하지 않은 계산이 함께 마감되어 버린다.

미터기 앞에 선 우리

마지막으로 시선을 돌려야 할 곳은 기업이 아니라 우리 쪽이다.

리셋 알림에 하트를 올린 것은 기업이 아니라 사용자였다. 우리가 환호할 때마다 다음 사고의 수습 매뉴얼 첫 줄은 조금씩 더 굳어진다. 설명보다 토큰이 싸고, 토큰이면 충분하다고 학습된 것이다. 그리고 이 학습에 가장 크게 기여하는 것은 역설적으로 가장 크게 피해를 본 사람들이다. 에이전트 설정 파일과 작업 습관이 특정 도구에 깊이 묶인 헤비유저일수록 갈아탈 곳이 마땅치 않고, 갈아탈 수 없는 고객의 분노는 리셋 한 번이면 식는다는 사실을 회사들은 대시보드의 이탈률 그래프로 확인하고 있을 것이다.

고백하자면 나도 다르지 않았다. 컨설팅 현장에서 도구의 데이터 처리 방식을 반드시 따져 물어야 한다고 강의하는 사람이, 정작 리셋 알림을 받았을 때는 원인을 묻기 전에 남은 게이지부터 확인하고 있었다. 그래서 요즘 AX 컨설팅에서 기업과 함께 도구를 평가할 때, 나는 항목 하나를 더 보자고 권한다. 이 회사가 사고를 냈을 때 무엇으로 갚는 회사인가 하는 것이다. 토큰으로 갚는 회사인지 설명으로 갚는 회사인지는 지난 장애 공지 몇 건만 거슬러 읽어 봐도 드러나고, 그 차이는 벤치마크 점수가 알려 주지 않는 것을 알려 준다.

다음 사고는 온다. 이 속도로 달리는 산업에서 그것은 예측이 아니라 거의 일정에 가깝다. 그때 여러분의 화면에도 리셋 알림이 도착할 것이다. 채워진 게이지를 확인하고 하던 일로 돌아갈 것인지, 아직 비어 있는 답변을 마저 물을 것인지는 기업이 아니라 우리가 정한다. 조련의 고리는 당근을 건네는 손이 아니라, 그 당근으로 만족해 버리는 손에서 완성되기 때문이다.

이 칼럼은 [AI와 인간 사이] 시리즈의 13번째 글입니다.

이미지 출처: AI 생성 콘텐츠