엔터프라이즈 AI는 지금 ‘AI 실패의 시대’에 가깝다. 포춘은 5월 17일 데니스 우드사이드 프레시웍스 CEO의 기고문을 인용해 두 줄짜리 충격적인 수치를 다시 한번 강조했다. “MIT 연구에 따르면 생성형 AI 파일럿의 95%가 양산 단계로 가지 못한다. 보스턴컨설팅그룹(BCG) 2025년 9월 조사에서는 기업의 60%가 AI에서 실질적인 가치를 만들지 못한다고 답했다”는 내용이다.
그러나 같은 글의 진짜 메시지는 다른 곳에 있다. 우드사이드는 “실패하는 95%는 더 많은 예산을 못 써서가 아니다. 시작 지점이 잘못된 것뿐이다”라고 단언했다. 그가 만난 ‘AI에서 진짜 이긴 회사’들은 하나같이 같은 패턴을 보였다. 모델을 끼우기 전에, 데이터·시스템·운영 흐름부터 단순하게 정돈해 뒀다는 점이다.
대표 사례가 뉴발란스다. 흩어져 있던 IT 스택을 한 플랫폼 위로 통합하고, 그 위에 ‘단일 진실 소스(single source of truth)’를 만들었다. 그러자 팀들은 시스템 유지보수에 시간을 빼앗기지 않게 됐고, 그제서야 AI가 들어왔을 때 실제 데이터를 학습하고 의사결정에 쓸 수 있는 환경이 마련됐다. 시게이트, 미국 4대 철강사 누코어와 스틸다이내믹스에서도 같은 패턴이 반복된다.
우드사이드가 제시한 또 다른 데이터 포인트도 주목할 만하다. 평균적인 기업에서 AI 예산의 약 25%는 ‘통합과 데이터 정리’에만 들어간다. 같이 작동하도록 설계되지 않은 시스템들을 억지로 합치는 과정에서, AI 모델 자체에 닿기도 전에 1/4의 예산이 사라진다는 얘기다. ‘AI 인프라’가 아니라 ‘AI 이전의 운영 운기’가 핵심이라는 뜻이다.
한국 대기업에도 그대로 적용되는 메시지다. 챗GPT 엔터프라이즈, 클로드 엔터프라이즈, 코파일럿을 도입한 한국 회사 상당수가 1년이 지나도 “무엇이 좋아졌는지 보고서로 쓸 수 없는” 단계에서 멈춰 있다. 우드사이드의 진단대로라면 그 원인은 모델이 아니다. 회사가 가진 데이터·시스템·운영 흐름이 AI가 일할 수 있는 형태로 정돈돼 있지 않다는 뜻이다.
포춘이 강조한 결론은 단순하다. “AI에서 이기는 길은 더 빠른 모델, 더 큰 GPU가 아니라 더 단정한 데이터·운영 환경이다.” 5월 18일 머스크-올트먼 트라이얼이 ‘AI 거버넌스’를 흔드는 같은 시점에, 5월 17일 포춘 기고문은 ‘AI 운영’의 진짜 출발점을 다시 짚었다. 자본시장이 천문학적 캐펙스에 베팅하는 사이, 진짜 사내 ROI는 ‘시작 자세’에서 갈린다.
자세한 내용은 Fortune에서 확인할 수 있다.
이미지 출처: 이디오그램 생성
