2025년 온디바이스AI 시장 연평균 27.95% 성장한다… 딜로이트 보고서

온디바이스AI는 데이터를 클라우드로 전송하지 않고 디바이스 내에서 AI 연산을 처리하는 기술이다. 스마트폰, PC 등과 같은 디바이스에서 직접 AI 처리를 수행할 수 있는 이 기술의 등장은 개인이 기술과 상호작용하는 방식을 근본적으로 변화시키고 있다. 전통적인 클라우드 기반 AI는 데이터를 서버로 전송하여 처리한 후 다시 사용자 디바이스로 결과를 변환하는 방식이었다. 반면 온디바이스AI는 스마트폰, 노트북, 기타 에지 디바이스에서 직접 AI 연산을 수행한다.

딜로이트 보고서에 따르면, 온디바이스AI의 가장 큰 장점은 운영 비용의 획기적인 절감이다. AI 모델이 클라우드를 벗어나 사용자의 디바이스 내부에서 직접 실행되기 때문에 기업에 클라우드 연산 비용이 발생하지 않으며 데이터 전송량이 현저히 줄어들어 통신 비용이 절감된다. 또한 온디바이스 구조는 사용량에 따라 요금이 증가하는 과금 리스크에서도 자유롭다. 이에 따라 스마트폰 제조사, IoT 서비스 기업, 자율주행차 플랫폼 등에서 장기적 비용 효율성과 운영 자율성 확보를 위해 온디바이스AI 전략을 적극적으로 검토하고 있다.

온디바이스AI는 실시간 처리와 낮은 지연, 프라이버시 및 보안 강화, 인터넷 연결 의존도 감소 등의 장점도 제공한다. 클라우드를 거치지 않고 디바이스에서 직접 AI 연산을 수행하므로 보다 빠른 응답이 가능하고, 데이터가 외부 서버로 전송되지 않기 때문에 보안성이 향상된다. 또한 인터넷 연결이 없는 오프라인 환경에서도 AI 기능을 사용할 수 있어 자율주행 자동차나 실시간 번역 시스템과 같이 끊김 없이 작동해야 하는 애플리케이션에 필수적이다.

온디바이스AI 기술은 다양한 분야에 적용이 가능할 것으로 보인다. 스마트폰, PC, 웨어러블 디바이스, 산업용 에지 디바이스, 드론, 자율주행차, 공간컴퓨팅 활용 기기, 로봇 등 각종 기기에 온디바이스AI 기술이 적용될 전망이다. 글로벌 온디바이스AI 시장은 연평균 27.95%씩 성장해 2031년에는 1,181억 달러 규모(한화 약 167조원)로 성장할 것으로 예측되고 있다. 최근 스마트폰 제조사들의 기술 활용 및 제품 출시로 온디바이스 스마트폰에서 AI 모델을 직접 실행할 수 있는 시대가 열리고 있다. 특화 반도체칩과 광범위한 모바일 운영체제(OS) 통합으로 스마트폰이 이제 단순한 ‘스마트’를 넘어 지능화된 기기로 변모하고 있다.

딜로이트는 2025년 글로벌 스마트폰 출하량이 전년비 7% 증가해 약 5% 증가했던 2024년에 비해 증가세가 가속화될 것으로 전망한다. 통상적 기기 업그레이드 주기가 겹친 데다, 온디바이스 생성형AI를 지원하는 차세대 스마트폰에 대한 관심이 높은 얼리 어답터 소비자와 개발자들의 업그레이드 수요가 증가할 것으로 전망된다. 2025년 말에 이르면 전체 스마트폰 출하량에서 생성형AI 지원 스마트폰이 30% 이상을 차지할 것으로 예상된다.

스마트폰과 마찬가지로 생성형AI 특화 온디바이스 칩을 탑재한 차세대 PC 시장 또한 사용자 경험, 유용성, 가치, 하이퍼스케일 생성형AI의 진화를 촉발시킬 것으로 보인다. 딜로이트 서베이에 따르면, 미국 응답자 중 34%가 생성형AI 지원 PC로 교체하기 위해 계획보다 일찍 노트북을 교체할 의향이 있다고 답했다. 딜로이트는 2024년에 판매된 PC 중 약 30%에 온디바이스 생성형AI 프로세싱 기능이 탑재돼 있을 것으로 추산하며, 2025년에는 그 비율이 50%에 육박할 것으로 전망한다.

한가지 유념해야 할 점은 온디바이스AI가 클라우드AI를 완전히 대체하는 개념이 아니라는 것이다. 클라우드 기반 AI는 AI 모델의 훈련(training) 과정에서 매우 높은 연산 능력을 필요로 하며, 이는 현재로서는 클라우드 서버에서만 가능하다. 따라서 온디바이스AI와 클라우드 AI는 상호 보완적인 관계로 볼 수 있다.

핵심은 어떤 시점에서 어떤 AI 연산을 온디바이스에서 수행하고, 어떤 연산을 클라우드로 보내야 할지에 대한 결정이다. 이러한 계층적(hierarchical) AI 배치 전략이 매우 중요해지는 환경이 조성되고 있으며, 하이브리드 AI 아키텍처의 필요성이 커지고 있다. 결론적으로 하이브리드는 피할 수 없는 선택이며, 중요한 질문은 엣지에서 얼마나 많은 워크로드를 처리하고, 클라우드에서 얼마나 많은 워크로드를 처리할 것인가에 달려 있다. 이 비율은 자동차 환경, 금융 거래, 의료 서비스, 일반 소비자 시장 등 다양한 사용 사례에 따라 달라진다.

온디바이스AI의 활용 분야는 매우 다양하다. 딜로이트 컨설팅 기술·미디어·통신(TMT) 산업 AI 프랙티스 리더인 바리시 사레르는 몇 년간 소형 언어 모델(Small Language Models)의 등장과 2023년 후반부터 새로운 반도체 칩이 출시되면서 엣지 컴퓨팅을 활용한 AI 워크로드가 현실적으로 가능해졌다고 설명한다.

딜로이트는 퀄컴(Qualcomm)과의 협업을 통해 온디바이스AI를 활용한 기술 검증(PoT, Proof of Technology) 프로젝트를 수행했다. 이 프로젝트에서는 CRM(고객 관계 관리)과 유사한 모바일 애플리케이션을 개발하여, 두 명의 비즈니스 인물이 대화를 나눌 때 애플리케이션이 오디오를 듣고 이를 텍스트로 변환한 후, 로컬에서 실행되는 소형 언어 모델이 대화를 요약하고, 핵심 행동 항목을 도출하며, 대화에 참여한 사람들의 연락처 정보를 자동으로 정리하는 기능을 제공한다.

스마트홈 시스템에서도 온디바이스AI는 중요한 역할을 한다. 가정 내 다양한 기기들이 사용자의 명령을 이해하고 실시간으로 실행하는 데 활용된다. 자율주행 기술에서는 차량이 주행하는 동안 실시간으로 주변 환경을 인식하고 도로 상황을 판단하여 적절한 경로를 결정하는 역할을 한다. 헬스케어 분야에서는 스마트워치와 같은 웨어러블 기기가 AI를 활용하여 사용자의 심박수, 혈압, 수면 패턴 등의 데이터를 실시간으로 모니터링한다.

또한 제조업에서는 스마트팩토리에서 공정 데이터를 실시간으로 분석하여 제품 품질을 관리하고 생산 라인의 효율성을 극대화하는 역할을 한다. 가정용 전자제품과 드론 분야에서도 온디바이스AI의 활용이 늘어나고 있으며, 이를 통해 더욱 편리하고 효율적인 사용자 경험을 제공하고 있다.

온디바이스AI 시장을 공략하기 위해 기업들은 몇 가지 핵심 요소를 고려해야 한다.

첫째, 디바이스 자원에 최적화된 경량화된 AI 모델을 설계해야 한다. 이를 위해 NPU(Neural Processing Unit) 등 온디바이스AI 연산에 특화된 전용 칩셋을 개발하거나 도입하는 노력이 필수적이다.

둘째, 데이터 프라이버시와 보안을 강화해야 한다. 클라우드 의존도를 최소화하고 로컬에서 데이터를 처리함으로써 GDPR(유럽 일반 개인정보 보호법)과 같은 글로벌 개인정보 보호 규제에 효과적으로 대응할 수 있다.

셋째, 사용자 경험을 중심으로 한 AI 서비스 설계가 요구된다. 오프라인 환경에서도 실시간으로 반응할 수 있는 AI를 구현해 사용자에게 자연스럽고 유용한 경험을 제공함으로써 차별화를 이끌어낼 수 있다.

마지막으로, AI 생태계 및 플랫폼 전략을 강화해야 한다. 다양한 디바이스에 쉽게 적용 가능한 소프트웨어 플랫폼을 구축하고, 이를 기반으로 생태계를 확장하며 파트너십을 강화하는 것이 중요하다. 이러한 요소를 종합적으로 추진하는 것이 온디바이스AI 시장에서 경쟁력을 확보하는 데 필수적이다.