AI가 스스로 찾고 판단한다… ‘에이전틱 RAG’ 기술의 부상

2023년 검색 증강 생성(Retrieval-Augmented Generation, RAG) 기술이 AI 시장을 주도했다면, 2024년에는 AI 에이전트 기반 워크플로우가 큰 진전을 이루고 있다. AI 에이전트의 활용은 대규모 언어모델(LLM) 기반 애플리케이션을 더욱 강력하고 유연하게 구축할 수 있는 새로운 가능성을 열었다. 그 중 하나가 RAG 파이프라인에 AI 에이전트를 접목한 ‘에이전틱 RAG(Agentic RAG)’다.

기존 RAG 파이프라인은 검색 컴포넌트(임베딩 모델과 벡터 데이터베이스로 구성)와 생성 컴포넌트(LLM)로 구성된다. 사용자 쿼리가 입력되면 인덱싱된 문서에서 유사도 검색을 실행하여 가장 유사한 문서를 검색하고, 이를 LLM에 추가 컨텍스트로 제공하는 방식이다.

그러나 이러한 기본적인 RAG 구현에는 두 가지 주요 한계가 있다. 첫째, 하나의 외부 지식 소스만을 고려한다. 일부 솔루션은 두 개 이상의 외부 지식 소스나 웹 검색과 같은 외부 도구 및 API가 필요할 수 있다. 둘째, 원샷(one-shot) 솔루션이라는 점이다. 즉, 컨텍스트가 한 번만 검색되며, 검색된 컨텍스트의 품질에 대한 추론이나 검증이 이루어지지 않는다.

쉽게 풀이하자면, 지금까지의 AI 챗봇은 한 번에 하나의 정보원만 검색할 수 있고, 검색한 정보가 정확한지 스스로 판단하지 못하는 한계가 있었다. 마치 도서관에서 책 한 권만 참고할 수 있는 학생과 같았다. 하지만 에이전틱 RAG는 여러 정보원을 동시에 검색하고, 정보의 신뢰성을 검증할 수 있어 마치 스마트폰으로 다양한 웹사이트를 검색하고 비교하는 것처럼 더 풍부하고 정확한 답변이 가능하다.

AI 에이전트는 역할과 작업이 주어진 LLM으로, 메모리와 외부 도구에 접근할 수 있다. LLM의 추론 능력은 에이전트가 필요한 단계를 계획하고 주어진 작업을 완료하기 위한 행동을 취하는 데 도움을 준다.

AI 에이전트의 핵심 구성요소는 다음과 같다:

• LLM (역할과 작업이 부여된)
• 메모리 (단기 및 장기)
• 계획 수립 (성찰, 자기 비평, 쿼리 라우팅 등)
• 도구 (계산기, 웹 검색 등)

대표적인 프레임워크인 ReAct는 라우팅, 쿼리 계획, 도구 사용을 단일 개체로 결합하여 상태(메모리)를 유지하면서 순차적인 다중 부분 쿼리를 처리할 수 있다. ReAct 프로세스는 다음 단계로 진행된다:

1. 사고(Thought): 사용자 쿼리를 받으면 에이전트가 다음 행동을 추론
2. 행동(Action): 에이전트가 행동을 결정하고 실행(예: 도구 사용)
3. 관찰(Observation): 에이전트가 행동의 피드백을 관찰

에이전틱 RAG는 단일 에이전트 또는 다중 에이전트 아키텍처로 구현될 수 있다.

가장 단순한 형태인 단일 에이전트 RAG는 라우터 역할을 한다. 최소 두 개의 외부 지식 소스가 있고, 에이전트가 어디서 추가 컨텍스트를 검색할지 결정한다. 외부 지식 소스는 데이터베이스에 국한되지 않으며, 웹 검색이나 슬랙 채널, 이메일 계정 등에서 정보를 검색하는 API도 포함될 수 있다.

다중 에이전트 RAG 시스템에서는 여러 전문화된 검색 에이전트들 간의 정보 검색을 조정하는 마스터 에이전트가 있을 수 있다. 예를 들어, 한 에이전트는 독점적 내부 데이터 소스에서 정보를 검색하고, 다른 에이전트는 이메일이나 채팅과 같은 개인 계정에서 정보를 검색하며, 또 다른 에이전트는 웹 검색을 통해 공개 정보를 검색하는 식이다.

에이전틱 RAG를 구현하는 방법에는 함수 호출이 가능한 언어 모델을 사용하거나 에이전트 프레임워크를 활용하는 두 가지 옵션이 있다. 2023년 6월 OpenAI는 gpt-3.5-turbo와 gpt-4에 함수 호출 기능을 추가했으며, Cohere는 Command-R 모델군에 커넥터 API를, Anthropic과 Google은 각각 Claude와 Gemini에 함수 호출 기능을 도입했다.

주요 에이전트 프레임워크로는 DSPy, LangChain, CrewAI, LlamaIndex, Letta 등이 있다:

• DSPy는 ReAct 에이전트와 아바타 최적화를 지원
• LangChain은 LCEL과 LangGraph 프레임워크를 통해 내장 도구 제공
• LlamaIndex는 검색 도구용 템플릿 모음인 QueryEngineTool 제공
• CrewAI는 다중 에이전트 시스템 개발을 위한 프레임워크
• Letta는 챗봇 사용자의 내부 월드 모델을 반영하고 개선하는 기능 제공

리플릿(Replit)의 개발자 지원 에이전트와 마이크로소프트(Microsoft)의 코파일럿 출시는 에이전틱 RAG의 실제 활용 사례 중 일부에 불과하다. 전문가들은 에이전틱 RAG의 활용 가능성이 무한하다고 평가하고 있으며, 다양한 산업 분야에서 새로운 응용 사례가 계속해서 등장할 것으로 전망하고 있다.

에이전틱 RAG의 주요 이점은 검색된 추가 정보의 품질 향상에 있다. 도구 사용이 가능한 에이전트를 추가함으로써 검색 에이전트는 쿼리를 전문화된 지식 소스로 라우팅할 수 있다. 또한 에이전트의 추론 능력을 통해 검색된 컨텍스트를 추가 처리 전에 검증할 수 있어 더 강력하고 정확한 응답이 가능하다.

그러나 하위 작업에 AI 에이전트를 사용하는 것은 LLM 사용에 따른 제약도 수반한다. 지연 시간 증가와 신뢰성 문제가 대표적이다. LLM의 추론 능력에 따라 에이전트가 작업을 충분히 완료하지 못하거나 전혀 완료하지 못할 수 있어, 작업이 막혔을 때 에이전트를 도울 수 있는 적절한 실패 모드를 구현하는 것이 중요하다.

기사에 인용된 리포트의 원문은 링크에서 확인할 수 있다.

기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다. 

관련 콘텐츠 더보기