AI 조기 도입 기업 92%가 투자 대비 수익 실현… 기업들의 성공 전략 공개

Radical ROI of Generative AI

92%의 기업이 증명한 생성형 AI의 투자 수익성… 평균 ROI 41%

미국의 클라우드 기반 데이터 플랫폼 기업 스노우플레이크(Snowflake)가 발표한 보고서에 따르면, 전 세계 1,900명의 비즈니스 및 IT 전문가를 대상으로 한 설문조사에서 57%가 이미 생성형 AI 솔루션을 배포했다고 응답했다. 더욱 놀라운 것은 이들 중 92%가 투자 대비 수익(ROI)이 이미 실현되었다고 밝혔다는 점이다. 생성형 AI 투자의 정량적 ROI를 측정한 기업들의 평균 수익률은 41%에 달했다. 즉, 생성형 AI 프로젝트에 100만 달러를 투자한 기업은 비용 절감과 수익 증대를 통해 141만 달러의 비즈니스 가치를 창출한 셈이다.

기업들은 생성형 AI를 내부적으로 직원 생산성 향상에 활용하거나(55%), 외부적으로 고객 경험 개선에 활용하는(44%) 두 가지 접근법을 취하고 있다. 51%의 기업이 운영 효율성 향상을 생성형 AI 도입의 주요 동기로 꼽았으며, 43%는 고객 경험 개선을, 40%는 혁신 성과 향상을 목표로 삼았다. 이러한 목표들에 대해 각각 88%, 84%, 84%의 기업이 이미 상당한 개선을 이루었다고 보고했다.

흥미로운 점은 생성형 AI가 반구조화된 데이터 처리에 있어 여전히 과제를 안고 있다는 사실이다. 전체 데이터의 80-90%를 차지하는 비정형 데이터 중 실제로 AI 학습과 조정에 사용할 준비가 된 데이터는 많지 않다. 조사 대상 기업 중 단 11%만이 비정형 데이터의 절반 이상이 AI에 활용 가능한 상태라고 응답했다. 데이터 레이블링과 같은 시간 소모적인 관리 작업(55%), 품질 문제(52%), 데이터 준비의 어려움(51%) 등이 주요 장애물로 지목되었다.

IT부터 마케팅까지, 70%가 활용하는 생성형 AI의 분야별 도입 현황

기업의 69%는 생성형 AI를 가장 효과적인 분야에 적용하고 있다. 일부는 개발자를 위한 코딩 도우미와 같은 내부용 도구를, 다른 기업들은 챗봇과 같은 고객 대면 솔루션을 우선시한다. 현재 가장 많이 활용되는 분야는 IT 운영(70%), 사이버보안(65%), 고객 서비스 및 지원(56%), 소프트웨어 개발(54%) 순이다. 주목할 점은 기술 전문가들이 비즈니스 부서 동료들보다 생성형 AI 사용을 과소평가하는 경향이 있다는 것이다. 마케팅 전문가의 69%가 생성형 AI를 웹 카피, 광고 문구, SEO 등에 활용한다고 응답한 반면, IT 전문가 중에서는 42%만이 이를 인지하고 있었다. 이러한 차이는 인사(73% vs 44%), 제조 및 공급망(70% vs 47%), 영업(72% vs 37%) 부서에서도 유사하게 나타났다. 이는 ‘셰도우 IT’에 이어 ‘셰도우 AI’가 등장했음을 시사한다.

기업 내 담당자들이 직면한 어려움 중 하나는 생성형 AI의 잠재적 활용 사례가 너무 많다는 점이다. 71%의 응답자가 추진하고 싶은 활용 사례가 예산보다 많다고 답했으며, 54%는 비용, 비즈니스 영향력, 실행 능력 등 객관적 기준에 따라 올바른 활용 사례를 선택하기 어렵다고 인정했다. 더욱이 71%는 잘못된 활용 사례 선택이 회사의 시장 위치에 해를 끼칠 수 있다고 우려했으며, 59%는 부적절한 활용 사례를 주장할 경우 자신의 직업이 위험할 수 있다고 답했다.

코드 품질 62% 향상, 사이버보안 대응 54% 개선

소프트웨어 개발 분야에서는 54%의 팀이 생성형 AI를 활용하고 있으며, 이들 중 83%가 이 기술이 게임 체인저(38%)이거나 중요한 영향을 미친다(45%)고 평가했다. 주요 활용 사례로는 분석 및 보고(71%), 코드 생성(63%), 코드 리뷰 및 QA(60%) 등이 있으며, 코드 품질(62%), 버그 탐지 및 해결(56%), 취약점 관리(54%) 등의 핵심 성과 지표가 개선되었다.

IT 운영에서는 70%가 생성형 AI를 사용하고 있으며, 85%가 전체적인 영향이 게임 체인저(37%)이거나 중요하다(48%)고 보고했다. 주요 활용 사례는 분석 및 보고(62%), 인프라 최적화(57%), 클라우드 비용 분석(56%)이다. 운영 비용(47%), 가동 시간(47%), 티켓 대응 시간(46%) 등이 개선되었다.

사이버보안 분야에서는 65%가 생성형 AI를 활용하고 있으며, 84%가 이 기술이 게임 체인저(39%)이거나 중요한 영향을 미친다(45%)고 평가했다. 주요 활용 사례로는 보안 위생 및 자세 관리 분석(65%), 분석 및 보고(58%), 내부 지식 베이스 확장(57%) 등이 있으며, 가동 시간(57%), 탐지 및 해결 시간(각 54%), 수동 작업 감소(53%) 등의 핵심 지표가 개선되었다.

매출과 고객 경험의 변화… 수익 성장 56%, 고객 만족도 66% 향상

영업 부문에서는 38%가 생성형 AI를 활용하고 있으며, 이들 중 77%가 이 기술의 영향이 게임 체인저(30%)이거나 중요하다(47%)고 평가했다. 주요 활용 사례로는 분석 및 보고(65%), 예측 기반 추천(56%), CRM 데이터 보강(52%) 등이 있으며, 수익 성장(56%), 예측 정확도(55%), 운영 비용(50%) 등의 지표가 개선되었다. 마케팅에서는 44%가 생성형 AI를 활용하고 있으며, 80%가 게임 체인저(30%)이거나 중요한 영향을 미친다(50%)고 평가했다. 주요 활용 사례로는 개인화된 마케팅 콘텐츠 생성(62%), 고객 대면 챗봇(60%), 소셜 모니터링 및 참여(52%) 등이 있으며, 고객 참여(63%), 클릭률(55%), 마케팅 운영 비용(54%) 등의 핵심 지표가 개선되었다.

고객 서비스 및 지원 분야에서는 56%가 생성형 AI를 활용하고 있으며, 82%가 이 기술이 게임 체인저(32%)이거나 중요한 영향을 미친다(50%)고 평가했다. 주요 활용 사례로는 고객 서비스 챗봇(66%), 고객 피드백 및 감정 분석(62%), 지식 베이스 관리(57%) 등이 있으며, 고객 만족도(66%), 최초 응답 시간(53%) 등의 지표가 개선되었다.

다중 모델 전략… 91%가 채택한 상업용 모델과 증가하는 클라우드 의존도

생성형 AI 배포에 있어 다양한 접근 방식이 존재하지만, 96%의 기업이 하나 이상의 AI 솔루션 구성 요소가 예상보다 비용이 많이 들었다고 보고했다. 주요 비용 초과 요인으로는 컴퓨팅 비용(64%), 로깅, 모니터링, 개발자 도구 등의 지원 소프트웨어(61%), 데이터 수집 및 처리(58%) 등이 있다. 그럼에도 불구하고 92%의 기업이 투자 수익에 만족하고 있으며, 더 많은 투자를 계획하고 있다. 81%가 데이터 관련 투자를, 78%가 대규모 언어 모델(LLM) 투자를, 83%가 지원 소프트웨어 투자를, 82%가 인프라 투자를, 76%가 인재 투자를 늘릴 계획이다.

대부분의 기업은 다양한 LLM을 활용하는 접근법을 취하고 있다. 91%가 상업용 모델(Azure OpenAI, Amazon Bedrock 등)을, 65%가 오픈소스 모델(Meta LlamA, BLOOM 등)을 사용하고 있다. 59%는 향후 12개월 내에 3개 이상의 LLM을 배포할 것으로 예상하며, 93%는 최소 2개의 LLM을 사용할 것으로 전망했다. 복잡성 관리를 위해 68%는 LLM 게이트웨이를 벤더로부터 구매할 계획이며, 28%는 자체 개발을 시도할 예정이다.

모델 학습과 조정에 있어 96%가 상업용 및 오픈소스 LLM을 훈련, 조정 또는 보강하고 있다. 80%는 자체 독점 데이터로 모델을 미세 조정하고 있으며, 71%는 검색 증강 생성(RAG)을 활용하고 있다. 71%의 기업은 효과적인 모델 보강에 테라바이트 단위의 데이터(또는 수백만 개의 문서)가 필요하다고 응답했다.

데이터 사일로와의 전쟁, 88%가 통합 데이터 전략 필요성 강조

다양한 생성형 AI 활용 사례에도 불구하고, 88%의 기업이 모든 생성형 AI 활용 사례를 아우르는 데이터 전략과 도구가 필요하다고 인정했다. 이상적인 데이터 전략은 데이터 사일로 제거(64%), 거버넌스 가드레일 통합(59%), 데이터 품질 측정 및 모니터링(59%), 데이터 준비 통합(58%), 효율적인 스토리지 및 컴퓨팅 확장(54%)과 같은 요소를 포함해야 한다.

데이터 품질(45%)과 양(38%)이 가장 큰 과제로 지목되었으며, 77%의 응답자는 추진한 생성형 AI 활용 사례의 절반 이상이 생산 단계에 도달하는 데 예상보다 시간이 더 걸렸다고 응답했다. 클라우드 기술이 이러한 과제 해결에 중요한 역할을 하며, 49%가 클라우드 호스팅 기술을 데이터 웨어하우징에 사용하고 있다.

클라우드 기반 데이터 웨어하우스 평가 시 주요 기능으로는 보안(46%가 필수, 38%가 중요), 고급 AI 기능(39%가 필수, 45%가 중요), 통합 분석 기능(39%가 필수, 45%가 중요) 등이 꼽혔다. 다수의 기업이 AI 친화적 솔루션뿐만 아니라 자체적으로 구축할 필요가 없는 AI 기능을 제공하는 플랫폼을 찾고 있다.

2025년 직장의 미래? 72%가 예상하는 자율 에이전트로의 업무 전환

생성형 AI는 단일 변화의 물결이 아니라 지속적인 혁신의 과정이다. 첫 번째 자율 에이전트 제품이 이미 시장에 출시되었으며, 기능과 활용 사례는 앞으로 더욱 빠르게 증가할 것으로 예상된다. 72%의 기업이 2025년 말까지 현재 직원들이 수행하는 작업이 자율 에이전트에 의해 대체될 가능성이 높다고 응답했으며, 70%는 AI 시스템이 적어도 부분적으로는 자신들의 성과를 평가할 것이라고 예상했다.

그럼에도 불구하고 67%의 기업은 기존 생성형 AI 활용 사례의 25% 이하만 운영화했다고 응답했다. 생성형 AI 이니셔티브의 리더들은 변화의 주체이며, 우리 모두에게 다가오는 변화의 규모에 대해 명확하게 인식하고 있다.

FAQ

Q. 생성형 AI 투자의 평균 수익률은 얼마인가요?

A: 생성형 AI 투자의 ROI를 정량화한 기업들의 평균 수익률은 41%입니다. 즉, 생성형 AI 프로젝트에 100만 달러를 투자한 기업은 비용 절감과 수익 증대를 통해 141만 달러의 비즈니스 가치를 창출했습니다.

Q. 기업들이 생성형 AI 도입 시 가장 큰 어려움은 무엇인가요?

A: 가장 큰 어려움은 비정형 데이터 처리입니다. 설문 조사에 따르면 시간 소모적인 데이터 관리 작업(55%), 데이터 품질 문제(52%), 데이터 준비의 어려움(51%), 데이터 민감성(50%) 등이 주요 장애물로 지목되었습니다. 전체 데이터의 80-90%가 비정형이지만, 단 11%의 기업만이 비정형 데이터의 절반 이상이 AI에 활용 가능한 상태라고 응답했습니다.

Q. 생성형 AI를 가장 성공적으로 활용하고 있는 산업 분야는 어디인가요?

A: 기술 기업들이 생성형 AI 도입에 선두주자이며, 70%가 여러 활용 사례에 생성형 AI를 적용하고 있습니다(전체 평균 64%). 금융 서비스 기업들은 고객 지원(63%)과 사이버보안(70%)에 집중하고 있으며, 헬스케어 분야는 IT(76%)와 인사(53%) 영역에서 생성형 AI를 효과적으로 활용하고 있습니다. 소매업은 고객 경험 향상(52%)에 초점을 맞추고 있으며, 제조업은 운영 효율성 향상(63%)과 비용 절감(37%)에 주력하고 있습니다.

해당 기사에서 인용한 리포트 원문은 링크에서 확인할 수 있다.

이미지 출처: 스노우플레이크

기사는 클로드와 챗GPT를 활용해 작성되었습니다.