[AI와 인간 사이] ROI의 시대가 가고 ROUT의 시대가 온다

세계에서 가장 부유한 회사가 “토큰을 아껴쓰라”라고 말한 날

2026년 3월, 메타(META) 직원들에게 다소 낯선 지시가 내려왔다. 인공지능을 쓸 때 토큰을 더 아껴 쓰라는 것이었다. 올해 인공지능 인프라에 전년의 두 배에 가까운, 1천억 달러를 훌쩍 넘는 예산을 배정한 회사가 정작 내부 구성원에게는 모델에 말을 거는 횟수를 줄이라고 당부한 셈이다.

사정은 이랬다. 메타는 유해 게시물 차단이나 사기 탐지 같은 민감한 작업에서 자사 라마(Llama)보다 성능이 낫다는 이유로 구글의 제미나이(Gemini)를 사서 쓰고 있었다. 그런데 그해 봄 구글은 메타가 사려던 만큼의 제미나이 용량을 공급할 수 없다고 알려왔다. 계약 분쟁도, 감정싸움도 아니었다. 구글에게 팔 수 있는 연산 자원이 그만큼 남아 있지 않았기 때문이다. 이 사실은 파이낸셜타임스가 6월 말 보도하면서 세상에 알려졌고, 그 여파로 메타는 여러 내부 프로젝트의 일정을 뒤로 미뤄야 했다.

구글이라고 사정이 넉넉해서가 아니었다. 같은 시기 구글 클라우드의 분기 매출은 처음으로 200억 달러를 넘어 1년 전보다 60퍼센트 넘게 뛰었지만, 계약만 맺고 아직 공급하지 못한 주문은 4천600억 달러 규모로 불어나 있었다. 올해 데이터센터에만 1천800억 달러 안팎을 쏟아붓고도 수요를 못 따라가, 6월에는 일론 머스크의 스페이스X와 xAI가 가진 연산 자원을 매달 9억 달러 넘게 빌려 쓰기로 했다. 앤스로픽 역시 비슷한 시기에 월 10억 달러가 넘는 규모로 같은 방식의 계약을 맺었다. 세계에서 가장 큰 인공지능 사업자들이 서로의 창고에서 급하게 연산을 꿔 오고 있는 것이다.

자랑거리가 비용이 되기까지

불과 얼마 전까지 토큰 소모량은 기술 회사의 자랑거리였다. 2025년부터 2026년 초반까지, 누가 더 많은 토큰을 태우고 누가 더 많은 컴퓨팅을 돌리는가는 곧 그 조직이 얼마나 인공지능에 진심인지를 보여주는 지표로 통했다. 대시보드에서 토큰 사용량 그래프가 위로 꺾이면 그것을 성과로 읽었다.

그런데 반년 만에 같은 숫자가 재무팀이 끌어내리려 애쓰는 대상이 되었다. 영어권 업계에서는 이 반전을 두고, 토큰을 최대한 많이 쓰는 것이 미덕이던 시절(tokenmaxxing, 토큰맥싱)이 끝나고 가치를 극대화하는 시절(valuemaxxing, 밸류맥싱)이 왔다고 표현한다. 한 인공지능 연구소 대표는 토큰 소모를 엔지니어링과 혼동한 기업들이 2026년 내내 재무책임자 앞에서 자사의 인공지능 지출 내역을 해명하게 될 것이라고 꼬집었다.

이 전환의 밑바닥에는 얼핏 모순처럼 보이는 사실이 하나 놓여 있다. 지능의 단가는 무너지고 있는데 지능을 실제로 굴리는 비용은 폭발하고 있다는 것이다. 스탠퍼드대학이 매년 내는 AI 인덱스 보고서를 보면, GPT-3.5 수준의 성능을 내는 데 드는 비용은 2022년 말 백만 토큰당 20달러에서 2024년 가을 7센트로, 약 18개월 만에 280분의 1로 떨어졌다. 토큰 한 개의 값은 이렇게 싸졌는데도 기업들의 인공지능 청구서는 오히려 몇 배로 불었다.

이유는 구조에 있다. 예전에는 사람이 한 번 질문하면 모델이 한 번 답했다. 지금은 하나의 작업을 맡기면 자율적으로 움직이는 에이전트가 그 안에서 수십 번씩 모델을 호출한다. 가트너의 추정으로는 에이전트 방식의 작업 하나가 단순 챗봇보다 다섯 배에서 서른 배 많은 토큰을 삼킨다. 토큰값이 아무리 떨어져도, 소비량이 그보다 빠르게 늘면 총지출은 증가한다. 효율이 좋아지면 오히려 총소비가 늘어난다는 제번스의 역설이 인공지능 위에서 그대로 재연되고 있는 셈이다.

투자수익률이라는 낡은 잣대

이 지점에서 우리가 오랫동안 회사의 건강을 재어온 잣대 하나가 흔들린다. 투자수익률, 곧 ROI다.

ROI는 원래 목돈을 먼저 투자한 뒤 그 대비 얼마를 벌었는지를 따지는 개념이다. 여러 명의 담당자를 붙이고, 서버를 사고, 몇 분기를 기다려야 지표가 나오던 시절에는 이 틀이 잘 맞았다. 그러나 지금은 마이크로서비스와 1인 기업이 시장의 한 축을 이룬다. 큰 투자를 받아 출발하기보다, 지금 당장 한 사람의 생계를 책임질 만한 매출이 나오느냐가 더 중요한 질문이 되었다. 혼자 사업을 벌여 회사에 다닐 때보다 많이 번다면 굳이 정교한 ROI를 계산할 이유조차 사라진다. 그 선을 넘어 벌면 그것으로 충분히 훌륭하다. 물론 이것이 쉽다는 뜻은 아니다. 다만 하나의 서비스를 굴리기 위해 여러 사람을 채용해야만 하는 시장은 더 이상 아니라는 뜻이다.

여기에 더해, 투자수익률이라는 틀 자체가 인공지능 시대에 헛돈다는 증거도 쌓이고 있다. MIT의 프로젝트 NANDA가 2025년에 내놓은 조사에 따르면, 기업이 시도한 생성형 인공지능 파일럿 가운데 측정 가능한 재무 성과를 낸 것은 5퍼센트에 불과했다. 나머지 95퍼센트는 300억에서 400억 달러가 투입되고도 손익계산서에 아무 흔적을 남기지 못했다. 흥미로운 대목은 그 실패의 원인이 모델 성능이 아니라 접근 방식, 즉 조직이 인공지능을 업무에 녹여내지 못한 데 있었다는 점이다. 돈을 얼마나 넣었는가를 묻는 ROI로는 이 실패의 정체가 잘 잡히지 않는다.

토큰당 수익이라는 새 잣대

그렇다면 이제 기업이 들여다봐야 할 숫자는 따로 있다. 같은 일을 해내는 데 토큰을 얼마나 적게 쓰는가, 그리고 그 토큰이 얼마의 매출과 효율로 되돌아오는가 하는 것이다. 투자 대비 수익을 오래 재어온 우리에게 익숙한 표현으로 옮기면, 토큰 대비 수익이라 부를 수 있다. 나는 이것을 ROUT(Return on Used Tokens), 곧 사용한 토큰의 수익률이라 부르려 한다. 분모에 놓이던 값이 자본에서 토큰으로 바뀌었다는 것, 이것이 시대가 넘어간 자리를 가장 간명하게 보여준다.

이것이 나 혼자의 조어는 아니다. 시장은 이미 여러 이름으로 같은 곳을 향해 수렴하고 있다. 값싼 모델로도 될 일을 값비싼 모델에 맡기지 않고 작업마다 가장 저렴하면서도 충분한 모델로 흘려보내는 전략을 두고 토큰 차익거래(token arbitrage)라 부르고, 컨설팅 회사 딜로이트는 토큰의 경제학이 인공지능의 비용과 수익률 자체를 다시 쓰고 있다는 제목의 보고서를 냈다. 표현은 저마다 다르지만 가리키는 방향은 하나다. 이제 중요한 것은 얼마나 태웠느냐가 아니라, 태운 만큼 무엇을 벌었느냐다.

그렇다면 무엇을 해야 하는가

관점을 바꾸는 데서 그치면 컬럼은 감상에 머문다. AI 전환을 앞둔 기업이 오늘부터 손댈 수 있는 것들을 짚어 보자.

먼저 작업마다 모델의 급을 맞춰야 한다. 가장 흔한 낭비는 작은 모델로도 처리될 일을 최상위 모델에 습관처럼 맡기는 것이다. 모델 등급 사이의 입력 토큰 가격 차이는 수십 배에 이르기 때문에, 요약이나 분류처럼 단순한 작업까지 프런티어 모델로 돌리는 순간 청구서는 조용히 불어난다. 전체 업무의 대부분은 가볍고 값싼 모델에 맡기고, 정말로 정교한 추론이 필요한 소수의 작업에만 최상위 모델을 아껴 두는 배분이 출발점이다.

다음은 맥락을 설계하는 일이다. 영어권에서 컨텍스트 엔지니어링(context engineering)이라 부르기 시작한 이 작업은, 모델의 문맥 창에 무엇을 넣을지를 공들여 다듬는 것을 말한다. 문맥을 많이 넣을수록 답이 좋아진다는 믿음은 이미 깨졌다. 필요한 정보만 골라 넣고, 반복되는 부분은 캐시로 재사용하며, 긴 문서는 압축해 건네는 습관만으로도 같은 결과를 훨씬 적은 토큰으로 얻을 수 있다.

계측의 단위도 바꿔야 한다. 질문 한 번에 답 한 번이 오가던 시절의 감각으로는, 에이전트가 하루 종일 자율적으로 도는 지금의 비용을 도무지 종잡을 수 없다. 지출을 질의 단위가 아니라 업무 흐름 단위로 들여다보고, 어느 작업이 얼마의 토큰을 먹는지를 눈으로 볼 수 있게 만드는 관측 체계가 필요하다. 클라우드 비용을 관리하던 방식이 그러했듯, 토큰에도 이제 재무의 규율이 붙어야 한다.

배포 구조 역시 미리 정해 두는 편이 낫다. 남의 서비스에 얹어 쓰는 방식과 API를 직접 호출하는 방식, 그리고 자체 인프라에 모델을 올려 돌리는 방식은 각각 손익분기가 다르다. 토큰 물량이 일정한 선을 넘어서면 값싸 보이던 방식이 가장 비싸지고, 초기 부담이 크던 방식이 오히려 저렴해지는 역전이 일어난다. 지금 쓰는 물량이 그 분기점의 어디쯤인지 아는 회사와 모르는 회사의 몇 년 뒤 비용 구조는 전혀 다를 것이다.

그리고 이 모든 것을 관통하는 마지막 원칙은, 토큰을 소모량이 아니라 성과로 환산해 측정하는 것이다. 대시보드의 사용량 곡선이 아니라, 그 토큰이 매출 증가나 인건비 절감으로 얼마나 돌아왔는지를 봐야 한다. 이것이 바로 ROUT가 묻는 질문이며, 앞의 네 가지 실무는 결국 이 한 문장을 위한 준비 작업이다.

지능이 공짜라는 착각 이후

토큰 소모량을 진보로 착각한 것은 벤더가 아니라 우리 자신이었다. 지능이 무한히 싸질 것이라는 전제 위에서 서비스를 설계하고 예산을 짰으며, 대시보드의 숫자가 커지는 것을 성취로 읽었다. 지금의 연산 부족은 공급자만의 문제가 아니라, 그 착각에 함께 올라탄 모두의 청구서다.

주목할 것은, 세계에서 가장 큰 회사조차 이 앞에서 방향을 틀었다는 사실이다. 메타는 제미나이에 기대던 작업을 자체 모델인 뮤즈 스파크(Muse Spark)로 옮겨 가고 있는데, 이 모델의 미덕으로 내세우는 것이 다름 아닌 효율, 곧 훨씬 적은 연산으로 비슷한 성능을 낸다는 점이다. 더 크게 태우는 경쟁에서 더 적게 쓰고도 같은 값을 얻는 경쟁으로, 판의 규칙이 바뀌고 있는 것이다.

지능이 값싸질수록 그것을 얼마나 잘 쓰느냐가 오히려 더 무겁게 물어지는 역설 앞에, 우리는 이제 막 서 있다. 무한한 지능을 전제로 지어 올린 모든 계획이 유한한 토큰이라는 현실 위에서 다시 검산되는 시대에, 당신의 회사는 태운 만큼 벌고 있는가.

이 칼럼은 [AI와 인간 사이] 시리즈의 12번째 글입니다.

이미지 출처: 이디오그램