기업, “AI가치 인식하지만 실현은 먼 일”

생성형 AI(Generative AI, GenAI)가 비즈니스 세계에 혁명적 변화를 가져올 것이라는 기대가 높아지고 있다. 하지만 실제로 그 가치를 실현하는 기업은 아직 소수에 불과하다. 포레스터 컨설팅이 SoftServe의 의뢰로 진행한 최근 연구에 따르면, 생성형 AI의 잠재력과 현재 제공하는 가치 사이에 상당한 격차가 존재하는 것으로 나타났다.

연구진은 750명 이상의 기술 구매 의사결정자를 대상으로 설문 조사를 실시했다. 그 결과, 응답자의 절반 이상이 생성형 AI를 운영 모델을 변화시키는 전략적 비즈니스 자산으로 인식하고 있었고, 80% 이상이 향후 12개월 내에 그 중요성이 더욱 커질 것으로 예상했다. 그러나 현재 조직 전반에 걸쳐 생성형 AI의 가치를 실현하고 있다고 답한 비율은 22%에 불과했다.

이러한 격차의 원인은 무엇일까? 연구 결과, 대부분의 기업들이 생성형 AI 도입을 위한 기술과 인프라는 갖추고 있지만, 데이터 준비와 거버넌스, 인재 육성 등에서 어려움을 겪고 있는 것으로 나타났다. 응답자의 95%가 상용 기반 모델을 사용하고 있고, 88%가 클라우드 벤더를 통해 AI 모델을 호스팅하고 있었다. 그러나 자사의 데이터로 AI 모델을 학습시킬 수 있다고 답한 비율은 42%에 그쳤고, 89%는 비즈니스 데이터 준비에 어려움을 겪고 있었다.

특히 데이터 활용 능력의 부족이 두드러졌다. 응답자들은 평균적으로 3가지 유형의 데이터만을 활용할 수 있었고, 운영 데이터, 고객 데이터, 직원 데이터가 가장 흔히 사용되는 데이터 유형이었다. 반면 전체 데이터 유형을 모두 활용할 수 있다고 답한 비율은 3%에 불과했고, 4가지 이상의 데이터 유형을 활용할 수 있는 기업도 25%에 그쳤다.

거버넌스 측면에서도 과제가 남아있었다. 응답자의 90%가 거버넌스 계획의 중요성을 인식하고 있었지만, 실제로 거버넌스 정책을 수립한 기업은 24%에 불과했다. 이는 많은 기업들이 생성형 AI 사용에 따른 위험에 노출되어 있음을 시사한다.

인재 육성 측면에서도 여러 과제가 확인되었다. 응답자의 약 80%가 직원들이 현재와 미래의 생성형 AI 사용 사례를 인지하지 못하고 있으며, 그 복잡성으로 인해 이해에 어려움을 겪고 있다고 답했다. 75% 이상이 솔루션/데이터 아키텍트, 데이터 과학자, 엔지니어 등 기술 인력의 부족을 경험하고 있었고, 생성형 AI 전문성, 모델 구축 및 미세 조정 능력, 데이터 인프라 개선 능력 등이 부족하다고 응답했다.

이러한 격차를 해소하기 위해 기업들은 외부 파트너의 도움이 필요하다고 인식하고 있었다. 응답자의 88%는 데이터 통합, 모델 최적화, 유스케이스 개발, 애플리케이션 개발을 위해 더 깊은 기술 전문성이 중요해지고 있다고 답했다. 90%는 더 발전된 기술 역량을 갖춘 파트너가 필요하다고 응답했고, 89%는 새로운 유스케이스의 빠른 구현을 도와줄 파트너가 필요하다고 답했다.

연구진은 이러한 결과를 바탕으로 조직 전반에 걸쳐 생성형 AI의 가치를 성공적으로 실현하고 있는 기업들(‘가치 수확자’)과 그렇지 못한 기업들(‘가치 추구자’)을 비교 분석했다. 그 결과 ‘가치 수확자’들의 주요 특징으로 다음을 꼽았다:

첫째, ‘가치 수확자’들은 상용 기반 모델과 클라우드 벤더 활용도가 더 높았다. 둘째, 데이터 활용 능력이 뛰어났다. ‘가치 수확자’의 37%가 4개 이상 유형의 데이터를 활용할 수 있다고 답한 반면, ‘가치 추구자’는 16%에 그쳤다. 셋째, 거버넌스 정책 수립 비율이 높았다. 넷째, 기술 전문성 개발에 더 집중하고 있었다. 다섯째, 구현과 실행을 지원하는 파트너십 구축에 더 적극적이었다.

이러한 노력의 결과, ‘가치 수확자’들은 더 많은 유스케이스를 성공적으로 구현했고, 혁신, R&D, 운영 효율성, 소프트웨어 개발, 고객 참여 등에서 더 큰 성과를 거두고 있었다. 또한 미래의 유스케이스에서도 비즈니스 가치를 창출할 수 있다는 자신감이 더 높았다.

지역별로는 미국 기업들이 생성형 AI의 가치 실현에 앞서고 있었고, 산업별로는 소매업이 두각을 나타냈다. 반면 금융 서비스/보험 업계는 상대적으로 어려움을 겪고 있는 것으로 나타났다. 기업 규모 면에서는 매출 50억 달러 이상의 대기업들이 가치 실현에 더 어려움을 겪고 있었는데, 이는 복잡한 하드웨어, 소프트웨어, 인프라 환경에서 필요한 역량을 조직화하는 데 더 많은 노력이 필요하기 때문으로 분석되었다.

포레스터는 이러한 연구 결과를 바탕으로 기업들에게 다음과 같은 조언을 제시했다. 첫째, 조직의 성숙도에 따라 ROI와 영향 평가를 주기적으로 업데이트할 것을 권장했다. 둘째, 데이터 준비를 전략의 기초로 삼을 것을 강조했다. 셋째, 조직의 준비도와 기술 발전을 지속적으로 추적할 것을 제안했다. 마지막으로, 전사적 생성형 AI 전략을 중재할 수 있는 파트너를 찾을 것을 조언했다.

생성형 AI는 기업의 운영 모델을 근본적으로 변화시킬 잠재력을 가지고 있다. 하지만 그 가치를 실현하기 위해서는 기술 도입을 넘어 데이터, 인재, 거버넌스 등 전반적인 역량 강화가 필요하다. 앞서가는 기업들의 사례에서 볼 수 있듯이, 체계적인 접근과 적절한 파트너십을 통해 생성형 AI의 숨겨진 가치를 발굴할 수 있을 것이다. 이는 단순히 효율성 향상을 넘어 혁신을 가속화하고 경쟁 우위를 확보하는 핵심 전략이 될 것이다.

기사에 인용된 리포트 원문은 링크에서 확인할 수 있다.

기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다. 

관련 콘텐츠 더보기