생성형 AI에서 에이전틱 AI로… 기업은 어떻게 준비해야 할까?

Agentic AI 시대, 기업의 AI 활용 전략은?

생성에서 자율 실행으로: 에이전틱 AI의 특징과 26.6%의 전문가 수준 추론 능력

인공지능 기술이 급속도로 발전하면서 이제는 ‘에이전틱 AI(Agentic AI)’ 시대가 도래했다. 엔비디아(NVIDIA) 젠슨 황 대표는 CES 2025 키노트에서 이미지, 텍스트, 사운드를 생성하는 ‘생성형 AI(Generative AI)’를 넘어, 이제는 AI가 스스로 추론하고 계획하며 실행까지 가능한 ‘에이전틱 AI’ 시대로 접어들었다고 발표했다. 더 나아가 일부에서는 이미 2025년을 ‘피지컬 AI(Physical AI)’ 시대라고 표현하기도 한다.

삼성전자 SDS 인사이트 보고서 ‘Agentic AI 시대, 기업의 AI 활용 전략은?’에 따르면, AI 기술은 지난 10여 년간 급격한 변화를 겪어왔다. 2012년 딥러닝 기술이 다시 주목받기 시작하면서 이미지에서 사물을 인식하는 ‘퍼셉션 AI(Perception AI)’ 중심으로 발전했다. 이후 2022년 말 ChatGPT의 등장으로 ‘생성형 AI’가 본격적으로 주목받았고, 2025년 현재는 ‘에이전틱 AI’ 시대로 진입했다.

에이전틱 AI는 기존 생성형 AI와 차별화된 특징을 가지고 있다. 2025년 2월 포브스 기사에 따르면, 생성형 AI는 대량으로 학습한 지식을 바탕으로 사용자의 지시에 따라 콘텐츠를 생성하는 ‘창조적 도구’인 반면, 에이전틱 AI는 목표 달성을 위해 스스로 계획을 세우고, 실행하며, 상황을 판단하여 문제를 해결하는 ‘자율적 문제 해결사’다. 이 두 AI는 상호 보완적으로 작동하며, 더 복잡한 문제 해결에 활용될 수 있다.

“모델이 아닌 문제 해결이 핵심”: OpenAI부터 마이크로소프트까지, 기업들의 에이전트 전략 변화

AI 기업들은 이제 대규모 언어 모델(LLM) 개발에만 집중하지 않고, ‘AI 에이전트’와 이를 활용한 응용 애플리케이션 개발로 전환하거나 사업 영역을 확장하고 있다. 이러한 변화는 기술 시장의 포화와 차별화 필요성에서 비롯됐다. OpenAI, Google, Anthropic 같은 빅테크 기업들이 이미 뛰어난 성능의 모델을 출시한 상황에서, 모델 자체보다는 ‘기존 모델을 어떻게 효과적으로 활용해 실제 문제를 해결하는가’가 차별화의 핵심이 되었다.

흥미롭게도 ‘에이전트’라는 개념은 기업마다 다르게 정의하고 있다. OpenAI는 ‘사용자를 대신해 자율적인 행동을 하는 것’, ‘지침과 도구를 갖춘 LLM 서비스’, 또는 ‘어시스턴트와 같은 것’ 등으로 설명한다. 마이크로소프트는 ‘특정 전문성을 갖춘 AI 기반의 새로운 애플리케이션’으로 정의하고, 앤트로픽이나 세일즈포스 같은 기업들은 ‘단순한 반복적인 작업’부터 ‘복합적인 자율 작업’까지 폭넓은 범위로 바라보고 있다.

딥 리서치에서 고객센터 상담까지: 현실 세계에서 활용되는 에이전틱 AI 사례들

에이전틱 AI는 사용자를 대신해 특정 작업을 수행하는 ‘대리인’ 역할을 하는 프로그램이다. 쉽게 말해, 사람이 직접 하지 않아도 되는 일을 처리해 주는 똑똑한 비서라고 할 수 있다. ‘에이전틱 시스템(Agentic System)’은 에이전트가 목표를 달성하기 위해 인지하고, 추론하며, 행동하고, 결과를 분석하는 실행 환경이다.

현재 다양한 에이전틱 AI 사례가 개발되고 있다. OpenAI의 ‘딥 리서치(Deep Research)’는 연구에 필요한 웹 검색과 논문을 조사/분석하여 연구자 수준의 보고서를 생성한다. 딥 리서치의 추론형 모델은 AI 모델이 전문가 수준의 지식과 추론 능력을 갖췄는지를 판별하는 ‘HLE(Humanity’s Last Exam)’ 테스트에서 26.6% 성공률을 기록했다. 또 다른 사례로 OpenAI의 ‘오퍼레이터(Operator)’는 컴퓨터를 사용해 웹 기반 작업을 수행한다. 사용자가 자연어로 요청을 하면 마우스 클릭이나 키보드 타이핑을 통해 온라인 주문이나 데이터 관리 등의 작업을 처리할 수 있다.

‘자동 예측 에이전트’는 리스크 관리와 운영에서 이상 변이를 분석하고 예측하여 자율적으로 조정하며, 기존의 룰 기반 시스템이나 머신러닝 시스템보다 더 뛰어난 성능을 보여준다. ‘고객센터 콜 상담 에이전트’는 실시간으로 상담을 위한 답변을 추천하고, 상담 종료 후에는 상담 내용을 요약하거나 FAQ를 자동 생성한다.

복잡한 작업을 위한 ‘멀티 에이전트’와 에이전틱 RAG: AI 에이전트의 다양한 유형과 보안 위협

에이전틱 AI는 단독으로 작동할 수도 있지만, 여러 에이전트가 함께 일하는 ‘멀티 에이전트’를 통해 더 복잡한 작업을 처리할 수 있다. 예를 들어, 리더 에이전트가 사용자의 목표를 분석하고 작은 태스크로 나눠 다른 에이전트들에게 분배한 뒤, 그 결과를 취합하여 사용자에게 전달할 수 있다.

또 다른 유형으로는 RAG 성능 개선을 위한 ‘에이전틱 RAG(Agentic RAG)’가 있다. 기존의 RAG(검색 증강 생성)은 일차원적으로 지식을 검색하고 검색된 지식을 바탕으로 답변을 생성했지만, 에이전틱 RAG는 더 발전하여 단계별 분석, 검토, 수정, 보완 과정을 거쳐 최종 답변을 생성한다.

에이전틱 AI를 도입할 때는 보안 측면에서 특별한 주의가 필요하다. 에이전틱 AI가 여러 시스템과 데이터에 자율적으로 접근해 문제를 해결하는 환경에서는 보안 위험이 증가할 수밖에 없기 때문이다. 오픈 월드 와이드 애플리케이션 시큐리티 프로젝트(OWASP)에서는 에이전틱 AI 도입 시 발생할 수 있는 새로운 유형의 보안 위협을 모델링하고 있다. 기업이 이미 많은 보안 체계와 권한 관리 시스템을 갖추고 있더라도, 에이전틱 AI 시대에는 안전한 메모리 관리, 툴 실행 시 보안, 접근 권한 제한, 사용자 검수 강화 등 종합적으로 보안을 강화해야 한다.

데이터 정비부터 사람의 검수까지: 기업의 성공적인 에이전틱 AI 도입을 위한 순환 구조

기업이 AI를 성공적으로 도입하기 위해서는 체계적인 접근이 필요하다. 무엇보다 경영진의 의지를 바탕으로 전사적인 AI 적용을 추진해야 한다. 이 과정에서 데이터 체계를 정비하고, 복잡한 시스템들의 기준정보를 정리하며, 전체 업무 프로세스를 개선할 수 있는 기회로 삼는 것이 중요하다.

전사적으로 AI를 도입하면 업무별로 다양한 적용 방식과 효과가 나타난다. 포털의 챗 서비스, 업무 솔루션의 코파일럿 활용, API를 통한 시스템 연계, 에이전트 설계/구현을 통한 복잡한 프로세스 자동화 등 다양한 적용 방식이 있다. 기업 내 시스템 환경은 인프라, 플랫폼, 애플리케이션, 서비스 등 여러 층으로 구성되어 있으며, 기존 레거시 시스템, 공통 업무 솔루션, 기간계 솔루션 등 모든 시스템과 솔루션을 에이전트와 연결해 업무 프로세스를 효율화할 수 있다. 이를 위해 사내 데이터에 대한 ‘카탈로그 생성’이나 ‘API 연계’를 수행해야 한다.

에이전틱 AI 시대에는 AI의 역할이 커지는 만큼 사람의 역할이 더욱 중요해진다. AI는 100% 정확하지 않고 항상 오류 가능성이 있기 때문에, 에이전트가 자율적으로 해결한 문제와 의사결정에 대해 사람이 안전하게 확인하는 검수 과정이 필요하다. 업무에서 AI 생성 결과를 제대로 검수하지 않고 무비판적으로 수용하면 전문성이 떨어질 위험이 있다. 에이전틱 AI는 순환 구조로 운영된다. 에이전트가 결과를 생성하면 담당자가 검토하고, 그 검토 결과는 피드백 데이터로 변환된다. 이 데이터가 정제되어 모델 학습에 활용되면 모델이 업데이트되고, 이를 통해 에이전트가 더 나은 결과를 생성하는 선순환이 이루어진다.

FAQ

Q: 에이전틱 AI(Agentic AI)란 무엇이며 생성형 AI와 어떻게 다른가요?

A: 에이전틱 AI는 목표 달성을 위해 스스로 계획을 세우고, 실행하며, 상황을 판단하여 문제를 해결하는 ‘자율적 문제 해결사’입니다. 반면 생성형 AI는 대량으로 학습한 지식을 바탕으로 사용자의 지시에 따라 콘텐츠를 생성하는 ‘창조적 도구’입니다. 두 AI는 상호 보완적으로 작동하며 함께 활용될 때 더 복잡한 문제 해결이 가능합니다.

Q: 기업이 에이전틱 AI를 도입할 때 주의해야 할 보안 이슈는 무엇인가요?

A: 에이전틱 AI가 여러 시스템과 데이터에 자율적으로 접근하는 환경에서는 보안 위험이 증가합니다. 기업은 안전한 메모리 관리, 툴 실행 시 보안, 접근 권한 제한, 사용자 검수 강화 등 종합적인 보안 체계를 구축해야 합니다. OWASP에서는 에이전틱 AI 도입 시 발생할 수 있는 새로운 유형의 보안 위협을 모델링하고 있으므로, 이를 참고하여 ‘위협 모델링(Threat Modeling)’을 통해 리스크를 예방, 조치, 탐지하는 전방위적인 보안 체계를 구축해야 합니다.

Q: 에이전틱 AI 시대에 사람의 역할은 어떻게 변화하나요?

A: AI의 역할이 커지는 만큼 사람의 역할이 더욱 중요해집니다. AI는 100% 정확하지 않기 때문에, 에이전트가 자율적으로 해결한 문제와 의사결정에 대해 사람이 검수하는 과정이 필요합니다. 사람의 역할이 직접 업무를 수행하는 것에서 AI가 수행한 결과를 검사하고 평가하는 방향으로 변화함에 따라, 업무 전문성과 함께 비판적 사고를 강화하는 것이 중요합니다. 또한 AI 결과에 대한 피드백을 제공함으로써 AI 모델의 지속적인 개선에 기여하는 역할도 중요해집니다.

해당 기사에서 인용한 보고서 원문은 링크에서 확인할 수 있다.

이미지 출처: 이디오그램 생성

기사는 클로드와 챗GPT를 활용해 작성되었습니다.