기업들의 AI 인프라 구축, 과제와 해법은?

인공지능(AI) 붐이 계속되면서 기업들의 AI 도입이 가속화되고 있다. 하지만 AI 워크로드를 효과적으로 처리할 수 있는 IT 인프라를 구축하는 것은 쉽지 않은 과제다. 데이터센터 업체 플렉센셜(Flexential)이 최근 발표한 ‘2024 AI 인프라 현황 보고서’에 따르면, 기업들은 AI 로드맵 실행을 위해 인프라 투자를 늘리고 있지만 기술 격차와 성능 문제 등 여러 난관에 직면해 있는 것으로 나타났다.

보고서에 따르면 연간 매출 1억 달러 이상인 기업의 IT 리더 350명 중 거의 모든 응답자(99%)가 자사에 문서화된 AI 로드맵이 있다고 답했다. AI 로드맵의 요소로는 ‘AI 주도 워크로드 증가에 대비한 인프라 투자 확대'(59%)가 가장 많이 꼽혔고, ‘AI 애플리케이션에 대한 사이버보안 강화'(54%)가 그 뒤를 이었다.

AI 도입의 주요 동인으로는 C레벨 경영진(53%)과 이사회(46%)가 꼽혔다. 특히 연 매출 20억 달러 이상 기업의 59%가 C레벨 경영진을 AI 도입의 주요 동인으로 꼽아, AI가 이제 이사회 수준의 논의 대상이 되고 있음을 보여줬다

IT 리더들은 AI 이니셔티브에 대해 대체로 긍정적인 태도를 보였다. 응답자의 73%가 AI 이니셔티브에 대해 ‘흥분된다’고 답했고, 49%는 ‘영감을 받았다’고 답했다. 그러나 AI 로드맵 실행 능력에 대해서는 자신감이 떨어지는 것으로 나타났다. 응답자의 36%가 자사의 AI 성숙도를 ‘초기’ 또는 ‘발전 중’이라고 평가했고, 46%는 AI 로드맵 실행 능력에 대해 어느 정도 의구심을 표했다.

AI 로드맵 달성 실패에 따른 결과에 대해서는 93%의 응답자가 부정적인 영향이 있을 것이라고 답했다. 45%는 ‘혁신에 어려움을 겪거나 신제품·서비스 계획을 지연해야 할 것’이라고 답했고, 42%는 ‘경쟁사에 시장 점유율을 잃을 것’이라고 우려했다.

AI 인프라 구축의 가장 큰 장애물로는 관련 기술을 가진 인력 부족이 꼽혔다. 응답자의 91%가 지난 12개월간 AI 관련 기술이나 인력 부족을 경험했다고 답했다. 특히 53%가 고밀도 컴퓨팅(high-density computing) 등 특수 컴퓨팅 인프라 관리 인력 부족을 겪었다고 답해, AI 인프라 구축을 위한 전문 인력 확보가 시급한 과제임을 보여줬다.

AI 워크로드 성능 문제도 주요 걸림돌로 나타났다. 응답자의 82%가 지난 12개월간 AI 워크로드 성능 문제를 경험했다고 답했다. 주요 성능 문제로는 ‘대역폭 부족'(43%), ‘불안정한 연결'(41%), ‘데이터센터 공간과 전력 확장의 어려움'(34%) 등이 꼽혔다.

AI 보안 우려도 높았다. 응답자의 95%가 AI 투자 증가로 사이버 위협에 대한 취약성이 높아졌다고 답했다. 특히 40%는 ‘사이버보안 팀이 AI 애플리케이션과 워크로드를 보호하는 방법을 이해하지 못한다’고 답해 AI 보안 전문성 확보가 시급한 과제임을 보여줬다.

이러한 과제들을 해결하기 위해 기업들은 제3자 콜로케이션 데이터센터 활용을 늘리고 있는 것으로 나타났다. 응답자의 51%가 ‘네트워크 엣지에 가까운 곳에서 데이터를 처리하기 위해 제3자 콜로케이션 데이터센터를 사용하고 있다’고 답했다. AI 훈련 또는 추론 애플리케이션에 사용하는 데이터의 저장 위치로는 ‘콜로케이션 데이터센터’가 60%로 가장 많이 꼽혔다.

그러나 콜로케이션 데이터센터 활용이 최적화되지 않은 것으로 나타났다. GPU를 가장 많이 배치한 장소로 ‘콜로케이션 데이터센터’를 꼽은 응답자는 24%에 그쳤다. 또한 34%의 응답자가 AI 애플리케이션이 공용 인터넷을 통해 데이터에 접근한다고 답해, 보안과 성능 면에서 개선의 여지가 있는 것으로 나타났다.

AI 붐으로 에너지 집약적인 인프라 투자가 늘면서 데이터센터의 지속가능성도 주요 이슈로 부상했다. 응답자의 97%가 IT 지속가능성 개선에 대한 압박을 느끼고 있다고 답했고, 47%는 5년 전보다 압박이 커졌다고 답했다. 압박의 주요 원천으로는 C레벨 경영진(51%)과 이사회(46%)가 꼽혔다. [출처: 보고서 24페이지 Fig. 16, 25페이지 Fig. 17]

IT 리더들 역시 지속가능성 개선에 높은 관심을 보였다. 93%가 IT 지속가능성 개선에 개인적으로 투자하고 싶다고 답했고, 53%는 업계에서 IT 지속가능성 문제가 충분한 관심을 받지 못하고 있다고 답했다.

주목할 만한 점은 IT 리더들이 지속가능한 클라우드 서비스에 프리미엄을 지불할 의사가 있다는 것이다. 94%가 더 지속가능한 클라우드 서비스를 위해 프리미엄을 지불할 의향이 있다고 답했고, 45%는 10% 이상의 가격 인상도 감수할 수 있다고 답했다.

플렉센셜은 보고서를 통해 AI가 조직의 변화와 혁신의 속도와 범위를 가속화함에 따라 IT 리더들이 야심찬 비즈니스 목표를 달성하기 위해 인프라를 설계하는 방식을 재구상해야 한다고 강조했다. 구체적으로는 △AI 워크로드에 맞춰 확장 가능한 고밀도 컴퓨팅 용량 확보 △강력한 보안 조치를 통한 민감한 데이터 보호 △실시간 협업을 지원하는 소프트웨어 주도 상호연결 활용 △성능 저하 없이 지속가능성 우선순위를 해결하는 특수 장비와 전략 도입 등을 제안했다.

플렉센셜은 “혁신 촉진, 신제품 및 서비스 출시, 시장 점유율 유지 또는 확대 등 모든 우선순위가 이러한 핵심 인프라 투자 능력에 달려 있다”며 “경험 많은 데이터센터 파트너와 협력하면 중요한 AI 워크로드를 확장하는 데 필요한 고대역폭, 일관된 처리량, 낮은 지연 시간의 프라이빗 연결을 신속하게 제공할 수 있다”고 조언했다.

플렉센셜의 리포트는 링크에서 확인할 수 있다.

본 기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다. 

관련 콘텐츠 더보기