LG CNS, AI 검색 알고리즘과 엘라스틱서치 결합해 검색 정확도 95% 달성

LG CNS가 자체 개발한 KeyLook AI 검색 알고리즘이 엘라스틱서치(Elasticsearch)와의 통합을 통해 괄목할만한 성과를 거뒀다. 검색증강생성(RAG) 시스템에 엘라스틱서치를 도입한 결과, 검색 정확도가 기존 75%에서 95%로 20% 향상됐다. 이는 한국어 질의응답 데이터셋인 KorQuAD 2를 활용한 테스트 결과다.

LG CNS D&A사업부 AI 연구소 언어 AI Lab(이하 ‘AI Lab’)은 기존 키워드 기반 검색의 한계를 극복하고자 벡터 검색 방식을 도입했다. 특히 엘라스틱서치의 희소 벡터(Sparse vector) 모듈이 한국어 전문검색을 지원하는 유일한 플랫폼이었다는 점이 결정적인 도입 계기가 됐다.

AI Lab 김영민 총괄은 “기존의 검색 알고리즘에서는 ‘블록체인’을 검색했을 때 블록체인이 정확하게 들어있는 문서만 찾을 수 있었다”며 “블록체인을 한글로 검색했을 때는 ‘Blockchain’이라는 영문 검색어 결과는 찾아오지 못하는 것이 문제였다”고 설명했다. 이러한 문제를 해결하기 위해 동의어 사전 관리 등의 방법을 고려했으나, 많은 리소스가 필요한 작업이었다.

엘라스틱서치 도입으로 대용량 데이터 처리 속도도 획기적으로 개선됐다. AI Lab은 엘라스틱서치의 역색인(Inverted Index) 방식과 하이브리드 검색(Hybrid search) 기능을 활용해 11만 개의 한국어 웹문서와 1만 개의 질문 문서를 0.1~0.2초 만에 검색할 수 있게 됐다. 이는 기존 대비 검색 시간을 50% 이상 단축한 결과다.

검색 성능 향상의 핵심에는 엘라스틱서치의 전문검색, 벡터검색, 시맨틱 검색이라는 세 가지 모듈과 KeyLook AI 모델의 결합이 있다. 희소 벡터 검색은 검색어의 동의어가 포함된 문서도 함께 검색할 수 있게 해주며, 밀도 벡터 검색은 구어체 문장을 인식하고 의도를 이해하는 데 초점을 맞춘다.

KeyLook AI는 단순한 검색 도구를 넘어 기업의 지식관리(KM) 혁신을 이끄는 핵심 기술로 자리잡고 있다. 이 시스템은 기업 데이터를 인코딩하고 엘라스틱서치에서 색인화한 후, 사용자 질문에 대해 챗GPT를 활용해 이해하기 쉬운 답변을 제공한다.

엘라스틱서치의 강력한 보안 기능은 기업 정보 관리에도 큰 도움이 된다. 관리자는 등급별 액세스 권한에 따라 정보를 필터링하여 검색 결과를 제공할 수 있어, 전반적인 기업 지식 검색 성능이 개선됐다. 또한 일반적인 전문(풀텍스트) 검색 방식과 달리 역색인 방식을 활용해 원하는 정보가 포함된 문서를 즉시 찾을 수 있어 빠른 검색 속도를 제공한다.

엘라스틱서치의 도입은 실시간 데이터 처리와 분석 능력도 향상시켰다. 김영민 총괄은 “엘라스틱서치의 Aggregation 기능을 활용해 사용자가 검색한 상위 Top 10 검색어, 사용자의 질문과 유사한 질의 등 최신 정보에 대한 빠른 접근이 가능해졌다”며 “이는 기업의 의사결정 과정을 지원하고, 신속한 대응을 가능하게 했다”고 설명했다.

LG CNS는 향후 KeyLook AI의 기능을 확장해 한국어 외에도 다국어 기술 지원을 제공할 예정이며, 글로벌 시장 진출도 준비하고 있다. 김영민 총괄은 “엘라스틱서치에서 지원하는 더 많은 기능을 활용해 KeyLook AI의 속도와 정확도를 높이는 방법을 고민하고 있다”며 “흩어져 있는 정보를 가치 있는 자산으로 ‘자산화’하는 차세대 지식 관리 서비스를 새로운 성장동력으로 삼고 관련 사업을 확대하고 있다”고 밝혔다.

LG CNS의 이번 사례는 생성형 AI와 엔터프라이즈 검색 기술의 결합이 가져올 수 있는 혁신적 변화를 보여준다. 특히 기업 내부의 방대한 데이터를 효율적으로 관리하고 활용하는 지식관리 시스템의 발전 가능성을 제시했다는 점에서 의미가 크다. 앞으로 이러한 기술 혁신이 기업의 디지털 전환을 어떻게 가속화할지 주목된다.

기사에 인용된 리포트 원문은 Elastic의 고객 사례 보고서에서 확인할 수 있다.

기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다. 

관련 콘텐츠 더보기