![[AI와 인간 사이] 우리회사의 AI 전환 시도는 왜 매번 실패할까?](https://aimatters.co.kr/wp-content/uploads/2026/05/WHO-LEADS-AI-INSIDE.jpg)
2026년의 사업계획서를 펼쳐보면 거의 모든 페이지 어딘가에 ‘AI 도입’ 혹은 ‘AI 전환’이라는 단어가 박혀 있다. 이제 그것은 비전이 아니라 전제다. 결심은 곧 행동으로 이어진다. 회사는 직원들의 유료 강의를 결제해주고, 챗GPT(ChatGPT) Team과 클로드(Claude), 노션 AI(Notion AI) 같은 도구의 시트를 한꺼번에 사들이며, AI TF를 띄우고, 외부 컨설팅과 외주 개발 계약서에 도장을 찍는다.
그러나 MIT NANDA 이니셔티브가 2025년 7월에 발표한 보고서 「The GenAI Divide: State of AI in Business 2025」는 다른 풍경을 보여준다. 300건의 기업 AI 도입 사례와 150명의 경영진 인터뷰를 바탕으로 한 이 연구는, 전 세계 기업이 생성형 AI에 쏟아부은 300억~400억 달러 가운데 95%의 파일럿이 측정 가능한 손익 개선을 만들어내지 못했다고 결론짓는다. 한국의 풍경도 다르지 않다. 대한상공회의소가 산업연구원과 함께 504개 제조기업을 조사한 결과 응답기업의 82.3%가 ‘AI를 경영에 활용하지 않고 있다’고 답했고, 중소기업의 활용도는 4.2%에 그쳤다. 결심은 거의 모든 회사가 했지만, 실행에 도달한 회사는 극소수라는 뜻이다.
문제는 결심이 아니라 실행이다. 그리고 실행의 실패에는 분명한 패턴이 있다.
첫 번째 함정, 양산형 강의
가장 먼저 의심해야 할 것은 “강의를 결제하면 된다”는 믿음이다. 시중의 유료 AI 강의 대부분은 녹화된 콘텐츠 위에 범용 템플릿을 얹어 양산된다. 내 회사의 업종, 우리 팀의 현황, 실무자가 매일 부딪히는 맥락에 대해서는 단 한 줄도 다루지 않는다. 그래서 직원이 백 번을 들어도 그것은 결코 ‘내 것’이 되지 않는다. 강사가 잘 쓰는 모습을 본 것으로 끝난다.
여기서 한 가지 역설이 드러난다. MIT 보고서가 ‘섀도우 AI’라고 부르는 현상이다. 회사의 공식 AI 도구는 잘 쓰이지 않는데, 개인 계정으로 챗GPT나 클로드를 쓰는 직원은 90%에 달한다는 것이다. 같은 모델을 깔아둔 사내 시스템보다 본인의 개인 계정이 더 잘 작동한다고 느끼기 때문이다. 결국 강의 영상도, 일괄 도입한 라이선스도, 직원의 일상에 스며들지 못하면 비용으로만 남는다.
AI 모델의 성능 때문이 아니다
조직의 AI 전환이 실패하는 진짜 이유는 모델 성능에 있지 않다. MIT 보고서의 표현을 빌리면 그것은 ‘학습 격차(learning gap)’의 문제이고, 현장에서 반복적으로 마주치는 원인은 세 가지로 압축된다.
첫째, 인프라와 인재의 동시 병목이다. PoC 한두 건만 돌려도 클라우드 GPU 청구서는 무섭게 늘어난다. 그러나 더 큰 문제는 사람이다. 시장에는 “AI에게 일 잘 시키는 사람”이 거의 없고, 그것을 내부에서 키울 시스템은 더더욱 부재하다. 외부에서 영입하려 해도 진짜 잘하는 인재의 몸값은 이미 스타트업, 중소기업은커녕 중견기업조차 감당하기 어려운 수준에 올라 있다.
둘째, 데이터의 부재다. 많은 경영자는 “우리 회사는 업력이 오래되어 공정·도면·불량 데이터가 산처럼 쌓여 있다”고 자부한다. 하지만 들여다보면 그 대부분은 ‘저장된 데이터’일 뿐, ‘쓸 수 있는 데이터’가 아니다. 실제로 회사를 먹여 살리는 살아 있는 데이터는 영업본부 부장의 핸드폰 안에 있는 경우가 대부분이다. 거래처 카톡, 통화 기록, 주문 변경 이력, 단가 협상의 미묘한 맥락이 거기에 흩어져 있다. 이것을 정제해 AI가 다룰 수 있는 형태로 만드는 데에는 전통적인 방식으로 통상 10개월 이상이 걸린다. 그러나 대부분 경영자의 인내심은 6.5개월을 넘기지 못한다.
셋째, 방향과 강제력의 부재다. 아무도 무엇부터 시작해야 할지 모르고, 시작한 뒤에도 갈 길을 잃는다. 시행착오만 누적되다 결국 원상복구되거나 도입 전보다 오히려 나빠진다. 이 사이클은 시도할 때마다 반복된다. 리더가 무엇을 AI로 전환해야 하는지 스스로 모르거나, 그 키를 너무 일찍 아랫사람의 손에 맡겨버렸을 때 특히 자주 나타난다. 결정권자가 회피한 자리에는 누구도 책임을 지지 못하는 표류만 남는다.
그리고, 달콤한 손길
이 빈자리에 어김없이 등장하는 것이 “AX 컨설팅 전문가”들이다. “오는 길에 이걸 잠깐 만들어봤는데요”, “딸깍 한 번에 이 정보들이 메일로 들어옵니다”, “지금 고용하신 인원의 60%는 솔직히 필요 없습니다” 같은 문장들이 회의실을 채운다. 솔깃하지만, 그 대부분은 실속 없는 환상에 가깝다.
MIT 보고서가 “외부 벤더와의 파트너십이 사내 자체 구축보다 약 세 배 가까이 높은 성공률을 보인다”고 분석한 것은 사실이지만, 그것은 ‘제대로 된 외부 파트너’에 한정된 이야기다. 데모는 화려하나 운영과 학습으로 이어지지 않는 솔루션을 들고 오는 컨설턴트가 시장에는 훨씬 많다. 그들이 다녀간 자리에는 AI 도구 피로에 빠진 직원, 이리저리 들쑤셔진 채 더 망가진 회사 데이터, 그리고 자신의 판단을 의심하기 시작한 상심한 실무 리더진만 남는다.
그렇다면, 무엇이 통하는가
내가 여러 기업 현장을 거치며 반복적으로 확인되는 성공 요소는 네 가지다.
첫 번째는 전환을 끝까지 끌고 갈 내부 리더의 존재다. 외주가 아니라 내부에서 변화를 이끌 사람이 있어야 한다. 사내의 정치, 구조, 실무를 모두 아는 실무 리더만이 PoC를 운영으로 옮겨놓을 수 있다. MIT 연구진이 “중앙 AI 랩이 아니라 현업 라인 매니저에게 권한을 줄 때 도입이 성공한다”고 결론지은 것과 같은 맥락이다.
두 번째는 정확한 AI 리터러시다. 도구를 많이 아는 것보다 “어떤 문제에 어떤 AI를 써야 하는가”를 판단하는 안목이 훨씬 중요하다. 모든 업무에 LLM을 들이댈 일도 아니고, 모든 의사결정을 에이전트에 맡길 일도 아니다. 어디까지가 자동화의 영역이고 어디부터가 사람의 영역인지, 그 경계를 그릴 수 있는 사람이 조직에 있어야 한다.
세 번째는 리더의 AI 슈퍼유저화다. 도메인 전문가인 팀장급 리더 본인이 AI 툴과 모델들을 직접 쓰고, 직접 만들어봐야 한다. 리더의 손이 닿은 도구만이 조직에 자연스럽게 흡수된다. 외주로 백 번 좋은 것을 만들어도, 임직원이 진심으로 쓰지 않으면 도입은 실패한다. 회사의 AI 전환은 결국 리더가 자기 손으로 AI 모델을 한 번이라도 만들어본 순간부터 시작된다.
네 번째는 도입과 확산을 받쳐주는 운영체계와 성과보상 시스템이다. 한 번의 PoC가 아니라 코칭, 운영, 성과 측정까지 묶인 시스템이어야 비로소 ‘전환’이라 부를 수 있다. 한 부서가 성공한 도입을 옆 부서가 따라 할 수 있도록 매뉴얼과 책임자가 정해져 있어야 한다. 또한 그것을 가능케 한 직원에게 심리적으로든 물리적으로든 달콤한 보상을 제공해야 한다. 그것이 없으면 좋은 사례 한두 개가 회사를 바꾸지는 못한다.
결국, 누가 핵심인가
AI 전환의 키는 외부 전문가도, 화려한 모델도, 비싼 라이선스도 아니다. 도메인을 가장 잘 아는 내부 리더가 AI 슈퍼유저가 되는 것, 그것이 시작이자 끝이다. 강의를 결제하는 일도, 툴을 구독하는 일도, 컨설팅을 영입하는 일도 그 중심축이 없으면 모두 비용으로만 남는다.
AI 전환이 어렵게 느껴진다면, 모델을 바꾸기 전에 먼저 이 질문에 답해보시기 바란다. 우리 회사에서 이 변화를 끝까지 끌고 갈 사람은 누구인가. 그 이름이 한 명이라도 떠오른다면, 당신의 AI 전환은 이미 절반은 성공한 것이다. 떠오르지 않는다면, 강의 결제와 툴 구독을 잠시 멈추고 그 사람을 먼저 찾는 일부터 시작해야 한다. 95%의 실패에서 5%의 성공으로 건너가는 다리는, 결국 사람의 이름으로 놓인다.
이 칼럼은 [AI와 인간 사이] 시리즈의 여섯 번째 글입니다.
이미지 출처: 이디오그램 생성
