[AI와 인간 사이] “바보야 그거 AX 아니야” 당신이 잘못 이해하고 있는 AI 전환

얼마 전 한 중견기업 대표님을 만났다. 회사가 본격적으로 AI 전환을 시작한 지 8개월째라고 했다. 사내에 챗봇을 깔았고, 부서별로 도입 가능한 AI 툴을 정리해 배포했으며, 일부 팀에는 자동화 솔루션도 붙였다고 했다. 그런데 표정이 어두웠다. 무엇이 문제냐고 묻자 그는 길게 한숨을 쉰 뒤 이렇게 말했다. “직원들은 일이 두 배가 됐다고 하고, 임원들은 ROI가 안 보인다고 합니다. 그런데 저는 솔직히 어디서부터 잘못된 건지 모르겠어요.”

요즘 나의 미팅에서 부쩍 이런 대화가 늘었다. 너무 많이 늘었다. 그리고 흥미로운 것은 실패하는 회사들이 공유하는 패턴이 놀라울 정도로 일관된다는 점이다.

MIT가 2026년 초 발표한 연구에 따르면 기업 생성형 AI 파일럿의 95퍼센트가 실측 가능한 ROI를 만들어내지 못한다. RAND의 조사에서는 그 수치가 80.3퍼센트로 나왔고, S&P Global Market Intelligence는 평균적인 조직이 AI 개념증명의 46퍼센트를 본격 도입 전에 폐기한다고 집계했다. 가트너(Gartner)가 4월에 발표한 782명의 IT 리더 대상 조사에서는 AI 도입 실패의 가장 큰 원인을 “너무 많은 것을, 너무 빨리 기대한 것”이라고 응답한 비율이 57퍼센트였다. 그리고 가장 중요한 숫자가 하나 더 있다. 업계 컨센서스는 AI 도입 실패의 84퍼센트를 리더십 문제로 본다는 것이다.

이 마지막 숫자가 핵심이다. 기술이 부족해서, 모델이 시원찮아서, 데이터가 모자라서 AI 전환에 실패하는 회사는 의외로 적다. 대표 및 임원급 리더가 AI 전환을 잘못 이해하고 있어서 실패하는 회사가 압도적으로 많다.

오해 1. 기존 업무 위에 AI를 얹으면 된다는 생각

가장 흔하고, 그래서 가장 많이 실패하는 유형이다. 출발점이 잘못되어 있다. “지금 우리 회사의 업무 프로세스는 잘 돌아가고 있으니, 그 위에 AI 도구만 얹으면 효율이 올라갈 것”이라는 전제다. 기존 업무 체계는 건드리지 않고, AI라는 새 레이어만 추가하겠다는 발상이다.

현장에서 이런 시도가 어떻게 끝나는지 수십 번 봤다. 직원들은 처음에 협조한다. 시키니까 한다. 그런데 일주일이 지나면 똑같은 작업을 두 번 하고 있는 자신을 발견한다. 기존 보고서 양식대로 한 번 쓰고, AI 툴에 다시 한 번 같은 내용을 정리해 입력하고, 그 결과를 또 기존 양식에 맞춰 옮긴다. 일은 줄어든 게 아니라 두 배가 됐다. 한 달이 지나면 직원들은 조용히 AI 툴 사용을 멈춘다. 누가 시키지 않아도 멈춘다. 익숙한 방식으로 관성적으로 복귀하는 것이다.

대표는 그제야 묻는다. “왜 직원들이 AI를 안 쓰죠?” 답은 명확하다. 쓸 이유가 없기 때문이다. 기존 프로세스가 그대로 있는 한, AI는 추가 업무지 대체 업무가 아니다.

진짜 AI 전환은 기존 업무 위에 AI를 얹는 것이 아니라, AI가 가장 잘 작동할 수 있는 형태로 기존 업무 자체를 재설계하는 것이다. 데이터를 어떻게 쌓을지, 의사결정의 단계를 어디까지 자동화할지, 사람이 개입해야 할 지점은 어디인지를 처음부터 다시 정의하는 작업이다. 기존 프로세스를 신성시하는 한, 그 위에 무엇을 얹어도 결과는 같다.

오해 2. 특정 직군만 AI를 쓰면 된다는 생각

두 번째로 흔한 오해는 “개발팀이나 마케팅팀처럼 AI와 어울리는 부서만 먼저 쓰면 된다. 나머지는 하던 대로 가면 된다”는 사고방식이다. 효율적인 접근처럼 보이지만 실제로는 가장 큰 함정 중 하나다.

한 조직의 일하는 방식이 바뀌면, 변화는 그 조직 안에 머무르지 않는다. 반드시 다른 조직과의 접점에서 마찰을 만든다. 마케팅팀이 AI로 콘텐츠 생산 속도를 5배로 끌어올렸는데, 이를 검토하는 법무팀의 검수 절차가 그대로면 어떻게 되겠는가. 영업팀이 AI 기반 고객 분석으로 제안서 작성 시간을 절반으로 줄였는데, 이를 받는 재무팀의 단가 승인 프로세스가 그대로면 어떻게 되겠는가.

먼저 전환된 조직은 막힌 통로 앞에서 멈춰선다. 그리고 그 답답함은 곧 “AI를 도입해봐야 결국 다른 부서가 안 받아주면 소용없다”는 학습된 무력감으로 바뀐다. 실제로 컨설팅 현장에서 자주 본 광경이다. 한 부서가 잘 전환되어도, 옆 부서의 무관심이 그것을 무력화한다. 통로가 막힌다.

AI 전환은 전사적 사고가 필요하다. 모든 직원이 같은 수준의 AI 리터러시를 가질 필요는 없다. 그러나 모든 직원이 자기 직군의 성격에 맞는 최소한의 AI 이해도는 반드시 가져야 한다. 그래야 부서 간 통로가 열린다. 그래야 한 부서의 변화가 다른 부서의 변화를 끌어내는 연쇄가 일어난다.

오해 3. 대표만 AI를 잘 이해하면 된다는 생각

세 번째 오해는 가장 정교하고, 그래서 가장 위험하다. 어떤 대표들은 이렇게 말한다. “직원들에게 AI를 가르치면 몸값만 올라가서 다른 회사로 이직해버린다. 그러니 대표인 내가 AI를 완벽히 이해하고, 지휘 방식만 바꾸면 된다.”

겉으로는 합리적인 자기방어 논리처럼 들린다. 그러나 이 생각의 밑바닥에는 두 가지 가정이 깔려 있다. 첫째, 직원은 회사의 자산이 아니라 변동성 높은 비용이라는 가정. 둘째, AI 역량은 가르치면 가져갈 수 있는 개인의 자산이라는 가정. 둘 다 틀렸다.

내 경험상, AI 리터러시가 높아진 팀장급 이상 직원들의 행동 패턴은 일관되게 한 방향으로 흐른다. 자기가 익힌 것을 사내에 적용하려 한다. 다른 부서에 도입을 요청하고, 하급자 교육을 자발적으로 맡고, 기존 업무 흐름을 개선할 제안서를 들고 회의실에 들어온다. 회사를 떠나는 것이 아니라, 더 깊이 회사에 결합한다. 왜냐하면 자기가 만든 변화의 성과를 가장 잘 누릴 수 있는 곳이 지금 이 회사이기 때문이다.

오히려 대표 혼자만 AI를 이해하고 있는 회사에서 가장 빈번하게 일어나는 일은 따로 있다. 대표의 지시가 직원들에게 번역되지 않는다는 점이다. 대표는 “이 부분을 AI로 자동화하라”고 말하지만, 직원은 “그게 가능한가? 어떻게? 우리 데이터로?”를 묻지 못한다. 묻는 순간 무능을 드러낸다고 생각하기 때문이다. 그래서 형식적으로 보고서가 올라온다. 보고서는 그럴듯하지만 실행되지 않는다. 실행되지 않는 AI 전략이 쌓이고, 대표는 “왜 이렇게 진척이 없지”를 반복한다.

대표에게 부족한 것은 AI 기술이나 툴이 아니라, 직원에 대한 믿음일지 모른다. AI 시대에 회사를 강하게 만드는 것은 대표 한 명의 통찰이 아니라, 같은 언어로 AI를 이해하는 조직 전체의 두께다.

그러면 무엇이 진짜 전환인가

흥미로운 점은 가장 빠르고 확실하게 AI 전환에 성공한 회사들의 공통점이 따로 있다는 사실이다. 그 회사들은 기존 업무 위에 AI를 얹지 않았다. 처음부터 AI를 전제로 일하는 방식을 재설계했다. 데이터를 AI가 가장 잘 활용할 수 있는 구조로 다시 쌓았고, 의사결정의 흐름을 AI와 사람이 가장 효율적으로 협업할 수 있는 형태로 바꿨다.

기존 업무 위에 AI 도구를 얹은 것이 아니라, AI 도구가 가장 잘 쌓을 수 있는 방식으로 기존의 데이터와 업무를 다시 입혔다는 표현이 더 정확하다. 발상의 순서가 정반대다. 사람이 일하던 방식에 AI를 맞춘 것이 아니라, AI가 잘 작동하는 방식에 사람의 일을 다시 정렬한 것이다.

그리고 그 회사들에는 또 하나의 공통점이 있다. 대표가 모든 직원의 AI 리터러시 향상에 진심이라는 점이다. 모든 직원에게 똑같은 교육을 시킨다는 뜻이 아니다. 개발자에게는 개발자의 AI 활용법을, 영업사원에게는 영업의 AI 활용법을, 회계 담당자에게는 회계의 AI 활용법을, 인사 담당자에게는 인사의 AI 활용법을 직군의 구조와 성격에 맞게 설계해 제공한다는 뜻이다.

이런 회사에서는 신기한 현상이 일어난다. 먼저 전환에 성공한 직원이 다른 직원을 자발적으로 끌고 가기 시작한다. 누가 시키지 않아도 한다. 자기가 익힌 것을 옆자리 동료에게 알려주고, 다른 부서의 후배 직원에게 점심을 사며 가르치고, 사내 스터디를 만든다. 회사 전체의 시너지가 올라간다. 대표 한 명이 끌고 가는 회사가 아니라, 조직 전체가 같은 방향으로 움직이는 회사가 된다. AI 전환은 그때 비로소 완성된다.

다시 처음으로

서두에 언급한 그 대표님에게 나는 이렇게 답했다. “지금 회사가 하고 있는 것은 AI 전환이 아니라 반복 업무의 추가입니다. 그 둘은 완전히 다른 일입니다.” 대표는 한참 말이 없었다.

기업의 AI 전환은 더 좋은 모델을 도입하는 일이 아니다. 더 비싼 솔루션을 사는 일도 아니다. 일하는 방식 자체를 AI를 전제로 다시 정의하고, 그 정의에 모든 직원이 같은 언어로 동참하게 만드는 작업이다. 이건 기술 프로젝트가 아니라 조직 변화 프로젝트다. 그리고 조직을 변화시킬 수 있는 사람은 조직의 정점에 있는 한 사람, 즉 대표뿐이다.

MIT가 말한 95퍼센트의 실패율은 모델의 실패율이 아니라 리더의 실패율이다. 가트너가 짚은 “너무 많은 것을, 너무 빨리”라는 진단도 결국 같은 이야기다. 기술의 속도가 빠른 것이 아니라, 그 속도를 받아낼 조직을 만들지 못한 채 도입만 서두른 것이 문제다.

AI 전환의 본질은 AI에 있지 않다. 사람에 있다. 그 사실을 받아들이지 않는 한, 어떤 회사도 95퍼센트의 통계 바깥으로 나오지 못한다.

이 칼럼은 [AI와 인간 사이] 시리즈의 여덟 번째 글입니다.

이미지 출처: 이디오그램 생성