[AI와 인간 사이] AI시대 기업의 승부처는 어디로 가는가

숫자 두 개를 나란히 놓고 시작하자. -32.7%와 81%. 앞의 것은 2023 회계연도 2분기 마이크론(Micron)의 매출총이익률이고, 뒤의 것은 지난달 같은 회사가 발표한 다음 분기 매출총이익률 전망치다. 3년 사이에 제품이 바뀐 것이 아니다. D램은 그대로인데 그것을 사 가는 손이 인공지능으로 바뀌었을 뿐이다. 원가에도 못 미치는 값에 재고를 떠넘기던 사업이 반도체에서 가장 수익성 높은 사업으로 올라서는 데 3년밖에 걸리지 않은 것이다. 그리고 이 호황의 청구서는 벌써 이웃집으로 날아들고 있다. 애플(Apple)이 맥북과 아이패드 가격을 올리며 든 이유가 바로 메모리 값이었다. 어떤 회사의 기록적인 이익률은 다른 회사의 손익계산서에서 불어난 원가 항목으로 잡힌다.

그런데 이상한 일이다. 기록이 경신될 때마다 시장의 표정은 오히려 굳는다. 이번이 꼭대기 아니냐는 말이 실적 발표 때마다 되풀이된다. 실적이 문제일까? 나는 이 불안이 다른 층에서 온다고 본다. 사이클의 높이가 아니라 경기장의 위치가 문제인 것이다. 선수들이 뛰는 경기장은 조용히 옆으로 옮겨 가는데 관중석에 앉은 우리의 시선은 예전 그대로일 때, 시장은 지금처럼 출렁인다.

마침 얼마 전 스레드(Threads)에서 이 이동을 스물네 개의 장면으로 꿰어 정리한 분석 스레드 하나가 오래 회자되었다. 이 글은 그 관찰에 적지 않게 기대면서, 내가 AX 현장에서 매일 마주치는 장면들을 겹쳐 그 지도를 다시 그려 보려는 시도다.

배우는 기계에서 일하는 기계로

첫 번째로 옮겨 간 것은 산업의 무게중심이다. 지금까지 AI 인프라 경쟁은 결국 학습의 경쟁이었다. 더 큰 모델을 더 빨리 가르치기 위해 최첨단 칩을 쌓아 올리는 군비 경쟁. 그런데 올해 들어 저울이 기울었다. 다 배운 모델을 현장에서 부리는 데 들어가는 추론 수요가 학습 수요를 추월한 것이다. 기계의 하루로 치면 공부하는 시간보다 출근해서 일하는 시간이 길어졌다. 산업이 개발 단계에서 운영 단계로 넘어왔다는 신호로 이만한 것이 없다.

단계가 바뀌면 성적표의 과목도 바뀐다. 학습 시장은 최첨단 공정과 소프트웨어 생태계를 함께 쥔 한 회사의 독무대에 가깝지만, 추론에서는 묻는 것이 다르다. 얼마나 빨리 응답하는가. 메모리를 얼마나 아껴 쓰는가. 토큰 하나를 만드는 데 원가가 얼마나 드는가. 이 과목들에서는 일등 칩이 아니어도 답안을 쓸 수 있다. 적당히 빠르고 확실히 싼 쪽이 점수를 가져간다. 오픈AI(OpenAI)가 브로드컴(Broadcom)과 추론 전용 칩 할라피뇨를 만들며 설계에서 양산까지 아홉 달밖에 쓰지 않은 것도, 클라우드 회사들이 저마다 자기 추론 칩을 굴리는 것도 이 과목의 배점이 커졌기 때문이다. 그 결과 데이터센터 가속기 시장을 사실상 독점해 온 한 회사의 아성에는 처음으로 유의미한 금이 갔다. 추론 원가의 몇 퍼센트가 곧 수억 달러로 환산되는 규모이니 다들 필사적일 수밖에 없다.

하드웨어끼리만 다투는 것도 아니다. 범용 그래픽 칩 여러 장에 소프트웨어 기법을 얹어 전용 칩 못지않은 처리 속도를 뽑아내는 사례가 잇따르고, 딥시크(DeepSeek)는 기존 모델의 구동 속도를 최대 85퍼센트 끌어올리는 도구를 아예 개방형 라이선스로 풀어 버렸다. 비싼 칩을 사야만 빠른 추론을 할 수 있다는 등식이 흔들리는 것이다. 분명히 해 두자. 반도체가 안 팔리게 된다는 이야기가 아니다. 무엇이 팔리고, 왜 팔리고, 누구에게 팔리는지가 통째로 재편되고 있다는 이야기다.

왕좌 옆에 놓인 메모리의 의자

두 번째 이동은 조명의 방향이다. 몇 년 동안 이 산업의 주인공은 연산 칩이었다. 그런데 추론의 시대가 열리자 메모리가 무대 가운데로 걸어 나왔다. 추론은 본질적으로 기억을 먹는 작업이다. 긴 문맥을 쥐고 있어야 하고, 대화의 중간 상태를 저장해 두었다가 꺼내 써야 한다. 모델을 배우게 하는 데는 연산이 들지만, 모델이 일하게 하는 데는 기억이 든다.

그래서 요즘 벌어지는 일들이 상징적이다. 기가와트 단위로 컴퓨트를 확보해 온 앤트로픽(Anthropic)이 지난달에는 마이크론과 손을 잡았다. 프런티어 랩의 조달 목록에서 연산 바로 다음 줄에 메모리가 적히기 시작했다는 뜻이다. D램과 HBM 가격은 전례 없는 수준으로 치솟았고, 불과 몇 년 전까지 감산과 적자를 오가던 메모리 회사들이 지금은 반도체 산업에서 가장 두꺼운 이익률을 쓴다.

여기까지만 들으면 메모리의 시대는 영원할 것 같다. 그러나 나는 이 대목에서 한 번 브레이크를 밟아야 한다고 본다. 수요가 끝없이 늘 것이라는 베팅의 반대편에서, 같은 일을 더 적은 자원으로 해내려는 기술이 무서운 속도로 자라고 있기 때문이다. 오픈AI가 소프트웨어 최적화만으로 일부 서비스의 추론 원가를 절반 아래로 끌어내렸다는 소식이 대표적이다. 비용만 만들던 무료 사용자 구간 전체가 이제 몇백 장의 GPU 안에서 소화된다고 전해진다. 다른 쪽에서는 초대형 오픈 모델을 극단적으로 압축해 개인용 컴퓨터에서 구동하는 실험이 성과를 내고 있다. 저장 공간을 8할 넘게 덜어냈는데도 실무에 쓸 만한 성능이 남는다. 메모리를 아끼는 기술의 성장 곡선이 메모리를 사들이는 손의 속도보다 완만하리라는 보장은 어디에도 없다.

물론 반론도 있다. 원가가 내려가면 쓰임새가 폭발해 총수요는 오히려 불어난다는, 이른바 제번스의 역설이다. 실제로 지금까지의 컴퓨팅 역사는 대체로 그 방향으로 움직였다. 다만 그 역설이 성립하더라도, 늘어난 수요가 어떤 제품으로, 어느 나라의 어느 회사에게, 어떤 가격 조건으로 발생하는지는 전혀 다른 문제다. 총량의 성장과 나의 몫은 다른 이야기다. 환상은 대개 이 둘을 뭉뚱그리는 데서 시작된다.

토큰을 태우던 회사들이 계산기를 두드린다

세 번째 이동은 돈을 대하는 태도다. 작년까지의 분위기는 좋게 말해 호방했다. 결과만 나온다면 토큰 소모량은 훈장처럼 여겨졌다. 그 공기가 올해 확 바뀌었다. 테슬라(Tesla)는 이달 들어 엔지니어 개인의 AI 사용액에 주당 200달러라는 상한선을 그었다. 혼자서 일주일에 수천 달러어치를 태우는 직원들이 나오자 내린 조치다. 사내에 토큰 사용량 순위표를 걸어 놓고 경쟁을 붙이던 어느 회사는 반년도 지나지 않아 그 자리에 지출 한도표를 걸었다. 상을 주던 지표가 관리 대상이 된 것이다.

이 전환을 재촉한 것은 단가와 청구서가 따로 노는 역설이다. 에이전트형 AI는 사람의 지시 한 줄을 받아 스스로 계획을 짜고, 자료를 뒤지고, 도구를 호출하고, 막히면 처음부터 다시 돈다. 그 모든 왕복이 토큰이다. 토큰 하나의 값이 아무리 내려가도 소비량이 그보다 빠르게 불어나면 월말의 숫자는 커진다. 그래서 성숙한 조직일수록 단가표가 아니라 작업 단위의 원가, 그러니까 이 일 하나를 마치는 데 총 얼마가 들었는가를 들여다보기 시작했다. 마이크로소프트(Microsoft)의 사티아 나델라가 업계의 다음 숙제로 토큰의 경제학을 지목한 것도 같은 흐름 위에 있다. 요지는 간명하다. 토큰에 쓰는 돈이 그 토큰이 만들어 내는 생산성의 값어치와 맞아떨어져야 이 산업이 지속 가능하다는 것이다.

이 전환에 이름을 붙이자면 토큰맥싱의 시대에서 아웃컴맥싱의 시대로다. 코인베이스(Coinbase)의 처방이 교과서적이다. 이 회사는 직원들을 다그치는 대신 시스템의 기본 설정을 손봤다. 판단이 어려운 일에만 최상위 모델이 나서고, 물량이 많은 일상 작업은 가격 대비 성능이 좋은 모델이 받아 가도록 경로를 설계한 것이다. 결과가 흥미롭다. 토큰 소비는 꾸준히 늘었는데 비용은 절반 가까이 내려갔다. 요즘 컨설팅 현장에서도 같은 변화를 느낀다. 어떤 모델이 제일 좋으냐고 묻던 기업들이 이제는 이 일에는 어느 정도면 충분하냐고 묻는다. 질문이 바뀌었다는 것은 시장이 어른이 되고 있다는 뜻이다.

기본값의 자리에 앉은 오픈웨이트

네 번째 이동은 그 계산기의 화살표가 가리키는 곳에 있다. 정해진 예산으로 더 많은 결과를 뽑으려는 기업들의 눈이 오픈웨이트 모델에 가서 멈춘다. 마침 물건이 좋아졌다. 중국 Z.ai의 GLM-5.2는 여러 코딩 평가에서 서방의 간판 모델들과 사실상 구분이 어려운 성적을 냈다. 그러면서도 모델의 덩치와 문맥 처리 용량은 최상위권이고, 가져다 쓰는 데 걸리는 제약은 거의 없다. 텐센트(Tencent)의 오픈 모델은 그동안 라이선스 조항 탓에 한국과 유럽 기업에게 그림의 떡이었는데, 최근 조건이 풀리면서 이 지역에서도 선택지가 됐다. 가격은 간판 모델들의 몇 분의 일 수준이다.

핵심은 가격표가 아니다. 오픈웨이트가 어느새 기본값의 자리를 차지하기 시작했다는 사실이다. 조직의 실제 사용 패턴을 결정하는 것은 뛰어난 개인의 취향이 아니라 시스템에 처음부터 깔려 있는 설정이다. 대부분의 구성원은 주어진 것을 쓴다. 그러니 기본 설정 화면에 어느 모델의 이름이 적혀 있느냐는 그 회사의 월말 정산서를 미리 써 두는 일과 같다. 여러 모델을 자유롭게 골라 쓰는 사용자들이 모인 플랫폼에서 미국 대형 랩의 비중이 눈에 띄게 줄고 중국 오픈 모델이 그 공백을 메우고 있다는 집계는, 이 교체가 이미 진행형임을 보여 준다.

여기에 통제권이라는 변수가 얹힌다. 바깥 회사의 모델에 업무를 맡긴다는 것은 그 회사의 사정이나 정부의 결정 하나로 우리 회사의 일손이 하루아침에 사라질 수 있다는 뜻임을, 올해 모두가 배웠다. 프롬프트와 첨부 자료가 곧 영업기밀이라는 자각도 뒤늦게 퍼졌다. 그러자 움직임이 실제 조달로 나타났다. JP모건(J.P. Morgan)은 가장 민감한 업무용 모델만큼은 외부 클라우드를 거치지 않도록 전문 추론 장비를 사옥 안에 들였고, 금융과 공공, 국방처럼 규제가 촘촘한 영역에서는 폐쇄망 구동이 계약의 전제 조건으로 명시되기 시작했다. 평가 항목이 달라진 것이다. 속도 벤치마크가 아니라, 데이터가 어디에 머무는지와 전원 스위치를 누가 쥐는지를 묻는다.

국경 안에서 완결되는 루프

다섯 번째 이동은 이 부품들이 국가 단위로 조립될 때 완성된다. 올해 4월, 중국에서 프런티어급 모델 하나가 미국산 반도체의 도움 없이 화웨이(Huawei)의 최신 칩만으로 구동에 성공했다. 나는 그날의 다른 장면이 더 인상적이었다. 발표와 동시에 중국의 칩 업체 여덟 곳이 각자의 하드웨어에서 그 모델을 돌릴 준비를 마치고 기다리고 있었다는 점이다. 신형 모델이 공개되는 날 곧바로 그 위에 올라타는 것은 지금껏 엔비디아(NVIDIA) 생태계의 전매특허였다. 그 일을 중국의 칩 생태계가 처음으로 재현해 낸 것이다.

바닥의 메모리도 같은 그림으로 채워진다. 창신메모리(CXMT)는 몇 년 만에 세계 D램 시장의 순위권 회사로 자랐다. 로이터 보도에 따르면 텐센트가 이 회사와 30억 달러 규모의 장기 계약을 맺어 앞으로 3~5년치 물량에 미리 도장을 찍었고, 바이트댄스도 비슷한 줄에 서 있다. 여기서 통념 하나가 뒤집힌다. 중국산 저가 메모리가 세계 시장에 쏟아져 가격을 무너뜨리리라는 예상과 달리, 실제로는 중국 안의 수요가 자국 생산분을 먼저 삼켜 바깥에 돌 물량이 오히려 줄어드는 방향으로 움직이고 있다. 이렇게 자국산 칩 위에 자국산 메모리를 얹고 그 위에서 자국산 오픈 모델을 돌리면, 값싼 추론이 국경 안에서 자급되는 회로가 닫힌다. 딥시크가 추론용 칩을 직접 만들기 시작했다는 보도까지 포개어 보면, 이것은 구상 단계의 청사진이 아니라 이미 가동에 들어간 생산 라인이다.

얄궂게도 이 회로에 전류를 흘려 준 것은 미국의 수출통제다. 미국은 올해 자국의 대표 모델을 통제 목록에 올려 해외 서비스에서 거둬들였고, 뒤이어 나온 최신 모델은 심사를 통과한 소수의 기관에만 허락했다. 모델이 미사일이나 원자로처럼 전략 물자로 취급되기 시작한 것이다. 문제는 문을 잠글 때마다 문밖의 수요가 사라지지 않고 옆 가게로 간다는 데 있다. 서방 모델의 공급이 조여질 때마다 중국 오픈 모델의 다운로드 그래프가 튀어 올랐다. 봉쇄는 상대를 늦추는 동시에, 상대의 제품이 팔릴 시장과 자립을 서두를 명분을 함께 쥐여 준다.

봉쇄하는 쪽의 안마당에서도 비슷한 루프가 돈다. 마이크로소프트는 자사 제품군을 떠받치던 외부 프런티어 모델의 자리를 하나씩 자체 모델로 채워 가는 중이고, 여기에 직접 설계한 추론 칩을 더해 모델 사용료와 칩 값으로 이중으로 새던 지출을 봉합하려 한다. 애플은 칩의 설계부터 생산까지를 미국 영토 안에서 마무리하는 공급망을 짜고 있다. 국가에 소버린 루프가 있다면 빅테크에는 기업판 폐쇄 루프가 있는 셈이다. 프런티어 랩들에게는 뼈아픈 소식이다. 가장 많이 결제해 주던 큰손들이 줄줄이 자체 조달로 돌아서면, 그들이 믿던 해자는 바깥의 적이 아니라 안쪽의 고객 때문에 마른다.

승부처는 반도체 바깥에 있다

이제 처음의 질문으로 돌아가자. 승부처는 어디로 가는가. 다섯 개의 이동을 한 장에 겹쳐 보면 화살표들이 같은 방향을 가리킨다. 가르치는 단계에서 부리는 단계로. 연산의 힘에서 기억의 크기로. 쓰는 양의 과시에서 쓰임의 설계로. 성능의 왕좌에서 기본값의 자리로. 빌려 쓰는 인프라에서 내 손안의 인프라로. 어느 화살표도 반도체를 비껴가지 않지만, 어느 화살표도 반도체 위에서 멈추지 않는다.

한국에서 이 이야기가 유난히 달콤하게 들리는 이유를 안다. 메모리는 우리의 주력이고, 추론의 시대는 곧 메모리의 시대라는 서사는 산업 전체의 사기를 끌어올린다. 그 서사에는 상당한 진실이 있다. 다만 컨설팅 현장에서 배운 버릇으로 나는 이렇게 묻게 된다. 수요가 늘어난다는 명제에서 그 수요가 언제까지, 어떤 제품으로, 누구에게, 어떤 조건으로 발생하는지를 빼고 나면 무엇이 남는가. 효율화 기술은 반대 방향에서 자라고, 세계에서 가장 큰 성장 시장 하나는 국경 안에서 루프를 닫아 가고, 가장 큰 고객들은 스스로 칩을 만들기 시작했다. 사상 최고의 실적과 사상 최대의 불확실성이 지금 같은 테이블에 놓여 있다. 슈퍼사이클이라는 단어 하나로 덮기에는 판이 너무 여러 겹이다.

그리고 기업의 안쪽으로 눈을 돌리면 정작 병목은 반도체가 아니다. 모델의 능력은 이미 숙련자 몇 주치의 일을 며칠로 접는 수준에 왔는데, 그 능력을 받아 낼 준비가 된 회사는 드물다. 내가 현장에서 만나는 풍경은 대체로 비슷하다. 부서마다 다른 시스템에 갇힌 데이터, 담당자의 머릿속과 엑셀 파일에만 존재하는 업무 절차. 그 사이에서 모델은 낄 자리를 찾지 못한다. 시범 사업은 화려한데 본 업무에 뿌리내린 사례가 드문 이유가 여기에 있다. 소비자 쪽에서는 무료에 익숙해진 사용자들이 매출로 전환되지 않는 구간이 넓게 남아 있다. 기술의 성능과 그것이 만들어 내는 실적 사이의 이 시차야말로, 시장의 불안을 키우는 또 하나의 토양이라고 나는 본다.

그래서 지금 조용히 값이 모이는 자리는 모델 그 자체가 아니라 모델을 둘러싼 층이다. 일감을 알맞은 모델에 나눠 맡기는 조율의 층, 흩어진 데이터를 먹을 수 있는 형태로 다듬는 정리의 층, 시행착오 없이 일을 끝내게 하는 운영의 층. 최근 미스트랄(Mistral)과 네이버 클라우드의 협업이 좋은 예다. 유럽 제조업에서 검증한 품질 관리 AI를 한국의 공장에 이식하는 이 프로젝트에서 눈에 띄는 것은 모델의 성능표가 아니라 엔지니어를 고객사 안에 상주시키고 데이터를 국내 클라우드 밖으로 내보내지 않는다는 운영의 조건들이다. 공장의 센서와 공정이 남기는 잘 정리된 데이터를 누가 먼저 확보하느냐가, 다음 단계인 그 데이터로 학습할 로봇과 자율 설비의 주인까지 정하게 될 것이다.

기업의 승부처를 묻는다면 나의 답은 이렇다. 어떤 칩을 사느냐, 어떤 모델을 구독하느냐가 아니다. 무엇을 기본값으로 앉히고, 어떤 데이터를 어떤 형태로 쥐고, 하나의 일을 몇 번의 시도로 끝내는 조직을 만드느냐다. 칩과 메모리는 분명 이 전쟁의 무기다. 그러나 무기 시세에 일희일비하는 쪽과 묵묵히 진지를 파는 쪽이 붙으면, 승부는 대개 진지에서 갈린다.

마지막으로, 이 모든 절약의 끝에 남는 질문이 있다. 아껴서 무엇을 할 것인가. 저렴한 모델의 힘은 정답이 알려진 일을 지치지 않고 되풀이하는 데서 나온다. 반면 아직 답이 없는 문제, 새로운 치료제와 새로운 과학은 여전히 한 걸음에 더 멀리 내다보는 지능을 요구한다. 프런티어 랩들이 노벨상 수상 연구자를 영입하고 방대한 과학 데이터베이스를 연구 도구에 연결하는 것은 그 요구에 대한 응답일 것이다. 추론이 싸지고 루프가 닫히고 기본값이 교체되는 이 소란의 최종 성적표는, 그렇게 아낀 자원으로 어떤 발견을 얼마나 앞당겼는가로 매겨질 것이다. 승부처는 이동한다. 그러나 승부의 이유는 이동하지 않아야 한다.

이 칼럼은 [AI와 인간 사이] 시리즈의 14번째 글입니다.

이미지 출처: AI 생성 콘텐츠