RAG 시스템의 혁신, ‘ChunkRAG’ – 청크 단위 필터링으로 AI 응답 정확도 대폭 향상

검색 강화 생성(Retrieval-Augmented Generation, RAG) 시스템은 인공지능의 응답 생성 능력을 높이기 위해 외부 지식을 활용하는 기술이다. 하지만 기존 RAG 시스템들은 부적절한 정보 검색으로 인한 부정확한 응답 생성이라는 문제를 안고 있었다. 알고버스 AI 리서치(Algoverse AI Research)가 개발한 ‘ChunkRAG’는 이러한 문제를 해결하기 위해 문서 단위가 아닌 청크(chunk) 단위로 정보를 평가하고 필터링하는 새로운 방식을 제시했다.

ChunkRAG는 크게 세 가지 혁신적인 기술적 특징을 가지고 있다. 첫째, 시맨틱 청킹(semantic chunking)을 통해 문서를 의미 있는 단위로 나눈다. 기존 시스템이 문서 전체나 임의의 길이로 텍스트를 나누던 것과 달리, ChunkRAG는 문맥과 의미를 고려해 정보를 분할한다. 둘째, 각 청크는 대규모 언어 모델(LLM)을 통해 사용자 질의와의 연관성을 정교하게 평가받는다. 셋째, 응답 생성 단계 이전에 부적절한 청크들을 필터링함으로써 잘못된 정보가 최종 응답에 포함되는 것을 방지한다.

ChunkRAG는 다양한 최신 AI 기술을 통합적으로 활용한다. 벡터 데이터베이스를 활용한 효율적인 검색, LLM 기반의 쿼리 재작성, TF-IDF와 코사인 유사도를 활용한 중복 제거, 그리고 자기 반영(self-reflection) 메커니즘을 통한 점수 개선 등이 포함된다. 특히 코히어(Cohere)의 재순위화 모델을 활용해 ‘중간 손실 문제(Lost in the middle problem)’를 해결하는 등 실용적인 문제 해결에도 초점을 맞췄다.

PopQA 데이터셋을 활용한 실험에서 ChunkRAG는 64.9%의 정확도를 달성했다. 이는 기존 최고 성능 모델인 CRAG(54.9%)와 비교해 10%p 향상된 수치다. 단순한 수치 상승을 넘어, 이러한 성능 향상은 실제 응용에서 큰 의미를 가진다. 특히 다단계 추론이 필요한 복잡한 작업에서 ChunkRAG의 우수성이 돋보였다. 3단계 프로세스에서는 기존 시스템 대비 66% 높은 성공률을 보였다.

ChunkRAG의 성능 향상은 다양한 실제 응용 분야에서 중요한 의미를 갖는다. 사실 확인(fact-checking), 다중 홉 추론(multi-hop reasoning)과 같은 정확성이 중요한 작업에서 특히 유용하다. 또한 OpenAI의 발전된 모델들처럼 복잡한 추론, 과학, 프로그래밍 분야에서 더 효율적인 성능을 발휘할 것으로 기대된다.

ChunkRAG는 여러 가지 기술적 한계점도 가지고 있다. 첫째, 청크 분할의 정확성과 임베딩 품질에 크게 의존한다. 초기 분할 단계에서의 오류는 전체 시스템의 성능을 저하시킬 수 있다. 둘째, LLM과 비평 LLM을 모두 활용하는 다중 레벨 평가 과정으로 인해 컴퓨팅 비용이 높다. 특히 대규모 데이터셋이나 실시간 시스템에 적용할 때 이러한 비용 문제가 두드러진다.

또한 현재까지는 PopQA 데이터셋에서만 검증이 이루어져, 다양한 도메인에서의 성능 검증이 필요하다. 연구팀은 향후 평가를 위해 장문 생성을 위한 Biography, 참/거짓 질문을 위한 PubHealth, 그리고 객관식 문제를 위한 Arc-Challenge 등 다양한 데이터셋을 활용할 계획이다.

ChunkRAG는 RAG 시스템의 정확성과 신뢰성을 높이는 중요한 진전을 이루었다. 특히 복잡한 추론이 필요한 작업에서 보여준 성능 향상은 AI 시스템의 실용적 활용 가능성을 한층 높였다. 향후 컴퓨팅 효율성 개선과 다양한 도메인에서의 검증이 이루어진다면, ChunkRAG는 더욱 광범위한 분야에서 활용될 것으로 기대된다.

기사에 인용된 리포트 원문은 링크에서 확인할 수 있다.

기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다. 

관련 콘텐츠 더보기