통신업계 생성형 AI 확장 전략: 시행착오 2년, 성공과 실패를 가르는 핵심 요소

From Prototype to Production: Scaling Gen AI in the Telco Industry

통신업계가 생성형 AI를 도입한 지 2년이 지난 지금, 실험 단계에서 상용화 단계로 전환되는 중요한 변화가 일어나고 있다. 알트만 솔론(Altman Solon)과 킨드릴(Kyndryl)의 새로운 연구에 따르면 통신사의 85%가 최소 하나의 생성형 AI 활용 사례를 생산 환경에 구현했으나, 대부분의 통신사에서는 개념 증명(PoC) 단계에서 생산 단계로 넘어가는 비율이 약 30%에 그치고 있다. 이는 기술의 잠재력을 실제 성과로 전환하는 과정의 복잡성을 보여준다.

비용 초과의 함정: 예산 대비 30-40% 더 드는 생성형 AI, 해결책은?

초기 성공 사례도 등장하고 있다. 미국의 주요 통신 사업자는 생성형 AI를 통해 네트워크 운영에서 30%의 효율성 향상을 달성했으며, 유럽의 주요 이동통신사는 생성형 AI 기반 챗봇을 통해 상담원이 처리하는 업무량을 60-80% 줄였다. 그러나 많은 통신사들은 전반적인 성과가 아직 미미하다고 보고하고 있다.

더불어 비용 면에서도 도전과제가 있다. 한 미국 대형 통신사는 대규모 언어 모델을 사용하여 생성형 AI를 구현하는 과정에서 계획보다 30-40% 높은 비용이 발생해 모델 및 인프라 전략을 재검토해야 했다. 이 외에도 미성숙한 데이터 및 거버넌스 관행, 불명확한 비즈니스 가치 실현, 임원진의 지원 부족 등의 문제가 있다.

“광범위 실험자” VS “신중한 집중형”: 성공하는 두 가지 대조적 접근법

알트만 솔론과 킨드릴의 연구는 통신사들을 네 가지 유형으로 분류하고, 이 중 두 그룹이 서로 다른 접근법으로 상대적 성공을 거두고 있음을 발견했다. 첫 번째 그룹인 ‘광범위 실험자(Broad Experimenters)’는 모든 영역에서 위험을 감수하며 폭넓게 활용 사례를 탐색하는 방식으로 잠재적 이점을 실현하며 56%의 성공률을 보였다. 반면, ‘신중한 집중형(Cautious and Focused)’ 그룹은 강력한 거버넌스와 규정 준수 감독을 갖춘 매우 정교한 배포 전략을 추구하며 55%의 성공률을 기록했다. 이런 집중적 접근법은 각 배포가 전략적 목표에 맞게 신중하게 관리되도록 한다.

각 통신사 부문의 차이점은 데이터 관리 준비도, 인프라 투자, 거버넌스 숙련도, 맞춤형 개발 접근법, 리더십 지원, 비즈니스 가치 명확성 등 다양한 특성에 의해 설명된다. 이러한 특성들이 생성형 AI 접근 방식과 이니셔티브의 결과에 영향을 미치고 있다.

연구 결과에 따르면 데이터 관리와 거버넌스 숙련도가 생성형 AI 성공의 핵심 차별화 요소로 나타났다. 성숙도 곡선에서 선도적인 통신사들은 견고한 데이터 기반 구축, MLOps 도구 활용, 맞춤형 개발과 기성 도구의 균형적 사용 등에 상당한 투자를 했다. 이와 대조적으로 성숙도가 낮은 그룹은 특히 데이터 관리 숙련도, 거버넌스, 데이터 투자 등 기초적인 격차를 보였다.

성공적인 두 그룹 중, ‘광범위 실험자’는 모든 지표에서 상당한 차이로 선도하며 데이터 및 거버넌스 전반에 걸쳐 강한 숙련도를 보였다. 이들은 생성형 AI 성공을 위한 견고한 데이터 기반 구축에 상당한 시간을 투자했으며, 약 70%가 데이터 인프라 개발에 6개월 이상을 투자했다. 또한 이 그룹은 MLOps 도구 사용률이 가장 높아 적어도 한 단계의 프로젝트 수명 주기에서 MLOps를 활용하고 있다.

고객 서비스를 넘어 네트워크 운영까지: 통신사의 생성형 AI 확장 로드맵

통신사들은 고객 서비스에서 생성형 AI의 가장 광범위한 적용을 보고했다. 고객 서비스 영역에서는 생성형 AI를 통해 고객에 대한 더 많은 통찰을 개발하고, 콜센터 상담원에게 정보에 대한 접근성을 향상시키며, 고객 경험 자체를 혁신하는 방향으로 발전하고 있다.

고객 서비스 외에도 네트워크, 마케팅, IT, 소프트웨어 개발 등의 영역에서도 적용이 확대되고 있다. 특히 네트워크 활용 사례의 발전 속도가 인상적인데, 현장과, 네트워크 운영 센터(NOC)에서의 네트워크 운영 지원에서부터 프로비저닝, 구성, 설치, 문제 해결, 장애 관리 및 해결 워크플로우 지원에 이르기까지 다양한 활용 사례가 등장하고 있다.

통신사 임원 중 80%가 생성형 AI 이니셔티브의 구현 비용이 예산보다 높았다고 보고했으며, 40%는 예산보다 최소 10% 이상 초과했다고 응답했다. 이러한 비용 도전과제를 해결하기 위해 통신사들은 모델 선택을 재평가하고 배포 접근 방식을 조정하고 있다.

광범위하게 생성형 AI를 도입하고 있는 통신사들은 다양한 모델을 사용하는 전략을 탐색하고 있다. 한 사례에서는 임베딩과 문서 검색을 위해 더 작은 오픈소스 모델을 사용하고, 응답 생성을 위해 더 큰 모델을 사용함으로써 고품질 출력을 유지하면서 비용을 효과적으로 관리했다.

또한 검색 증강 생성(RAG)과 컨텍스트 검색 증강 생성(CRAG)과 같은 방법을 오프더쉘프(OTS) LLM과 함께 사용하여 원시 데이터를 LLM에 직접 전송하지 않고도 특정 활용 사례를 효과적으로 해결하는 접근법도 활용되고 있다.

생성형 AI 성공을 위한 핵심 전략

보고서에 따르면, 통신사들이 생성형 AI 이니셔티브에서 성공하기 위해서는 다음과 같은 핵심 질문에 주목해야 한다:

견고한 데이터 기반 구축: 조직의 데이터 역량과 인프라는 얼마나 발전했는가? 얼마나 많은 투자를 데이터 역량에 했으며, 앞으로 할 의향이 있는가?
거버넌스 프레임워크 및 가드레일 수립: 생성형 AI에 대한 책임은 조직 내 어디에 있는가? 활용 사례 결정, 모델 개발, 운영화, 지속적인 모니터링, 위험 및 규정 준수 관리를 위한 필요한 프로세스와 정책이 마련되어 있는가?
높은 영향력을 미치는 활용 사례 파이프라인 개발: 활용 사례가 영향력 대비 복잡성 측면에서 평가되어 우선순위를 정하고 전략적 로드맵을 작성되었는가? 식별된 활용 사례가 높은 영향력이 있으며 경쟁 우위를 제공하거나 혁신 목표를 가능하게 하는가?
배포 접근법 대비 비용 평가: 배포된 활용 사례의 비용/투자 예산 대비 실현된 이점은 무엇인가? 비용 가드레일과 투자 관리를 위한 거버넌스가 있는가? 비용 관리를 위해 멀티 LLM과 같은 접근법을 활용하고 있는가?

FAQ

Q: 통신사에서 생성형 AI의 가장 성공적인 활용 사례는 무엇인가요? A: 고객 서비스 영역에서 챗봇을 통한 고객 응대 자동화(상담원 업무량 60-80% 감소), 네트워크 운영에서의 효율성 향상(30% 개선), 그리고 개발자 생산성 향상(GitHub Copilot을 통한 10-15% 생산성 향상) 등이 성공적인 사례로 보고되고 있습니다.

Q: 생성형 AI 도입을 위해 통신사가 갖춰야 할 핵심 역량은 무엇인가요? A: 견고한 데이터 관리 시스템, 효과적인 거버넌스 프레임워크, 명확한 비즈니스 케이스, 그리고 비용과 성능의 균형을 맞추기 위한 모델 선택 전략이 중요합니다. 또한 생성형 AI를 책임지는 중앙 팀(Center of Excellence)을 구성하는 것이 성공에 기여합니다.

해당 리포트의 원문은 링크에서 확인할 수 있다.

이미지 출처: 알트먼 솔론 리포트 캡처

기사는 클로드와 챗GPT를 활용해 작성되었습니다.