검색 엔진도 다이어트 중? 작아진 AI가 더 똑똑해진 이유

정보 검색(IR) 분야는 생성 AI와의 융합을 통해 큰 변화를 맞이하고 있다. 컴퓨팅 커뮤니티 컨소시엄(Computing Community Consortium, CCC) 워크숍에서는 정보 검색과 생성 AI의 융합이 가져올 가능성과 도전을 심도 있게 논의하며, 향후 연구와 정책 방향을 제시했다.

보고서는 IR과 생성 AI의 통합을 통해 새로운 기준의 평가 체계를 수립하고, 효율적이고 개인화된 사용자 경험을 제공하는 기술 개발을 강조했다. 또한, 윤리적 문제와 사회적 파급 효과를 최소화하기 위한 다학문적 협력의 필요성을 제시하며, 장기적으로 실시간 학습이 가능한 AI 모델 개발의 중요성을 강조했다.

생성 AI와 결합된 정보 검색 시스템에서는 기존의 단순한 검색 결과 평가 방식을 넘어, 대화형 검색 및 생성 응답을 평가하는 새로운 방법론이 요구된다. 연구진은 생성 AI를 통해 데이터 라벨링 과정을 효율화할 수 있을 뿐 아니라, 디지털 트윈 기술을 활용하여 사용자 행동을 시뮬레이션하고 이를 기반으로 더욱 현실적인 평가를 수행할 수 있다고 제안했다. 이러한 접근법은 시스템의 신뢰성을 강화하고 사용자 만족도를 높이는 데 중요한 역할을 할 것으로 보인다.

정보 검색 시스템은 사용자의 암묵적 및 명시적 피드백을 기반으로 지속적으로 학습하는 능력을 갖춰야 한다. 검색 시스템과 생성 모델 간의 협력적 학습은 두 시스템이 상호 적응하여 성능을 향상시키는 데 중요한 역할을 할 것이다. 예를 들어, 검색 엔진이 제공하는 정보를 기반으로 생성 AI가 적절한 응답을 생성하고, 사용자가 제공하는 피드백을 통해 양측이 동적으로 발전할 수 있다. 이는 단순한 응답 생성에서 벗어나 사용자의 요구에 맞춘 정교한 추론을 가능하게 한다.

정보 검색 시스템의 개인화는 사용자의 행동, 선호, 맥락을 정확히 이해하고 이를 시스템에 반영하는 데 달려 있다. 연구자들은 사용자의 인지 상태를 모델링하여 정보 제공 방식을 맞춤화하고, 프라이버시를 보호하면서도 개인화된 경험을 제공할 수 있는 알고리즘 개발이 필요하다고 강조했다. 특히, 윤리적 문제와 데이터 편향을 줄이는 기술적 접근도 병행되어야 한다.

생성 AI가 사회에 미칠 윤리적 및 기술적 영향을 분석하고 이를 완화하기 위한 방안이 필요하다. AI가 생성한 정보의 신뢰성과 정확성을 보장하고, 사용자에게 정보를 제공하는 방식에서 발생할 수 있는 편향과 정보 왜곡 문제를 해결해야 한다. 또한, AI 설득 시스템이 초래할 수 있는 위험성을 완화하고, 에너지 사용 및 환경적 부담을 줄이는 효율적인 시스템 설계가 중요하다.

대규모 언어 모델(LLM)의 효율성을 높이기 위해 모델을 경량화하거나 데이터와 컴퓨팅 자원을 최적화하는 연구가 필요하다. 연구진은 검색 엔진과 소형 LLM을 결합하여, 정보 검색의 정확성을 유지하면서도 비용과 자원을 줄이는 방법을 제안했다. 이를 통해 더 많은 연구자와 조직이 기술적 장벽 없이 AI 기술을 활용할 수 있을 것이다.

지능형 에이전트는 사용자가 명시적으로 요구하지 않아도 스스로 정보를 수집하고, 복잡한 작업을 수행할 수 있어야 한다. 이를 위해 다중 에이전트 간의 협력과 사용자 요구를 기반으로 한 동적 계획 수립 능력이 필요하다. 에이전트는 신뢰성을 확보하기 위해 수행한 작업을 명확히 설명하고, 실패 시 이를 해결하거나 대안을 제시할 수 있어야 한다.

보고서는 정보 접근에 특화된 기반 모델 개발의 필요성을 강조했다. 이러한 모델은 멀티모달 데이터를 통합하고, 사용자 맥락에 적응하며, 실시간 학습을 통해 지속적으로 성능을 향상시킬 수 있어야 한다. 또한, 사용자 시뮬레이션 데이터를 활용하여 실제 사용자 행동을 반영하는 훈련 데이터셋을 생성하는 기술도 개발되어야 한다.

보고서는 연구 공동체, 산업계, 정부 간 협력을 통해 정보 검색과 생성 AI의 융합 연구를 촉진해야 한다고 제안했다. 이를 위해 평가 캠페인을 강화하고, 공공 데이터를 공유하며, 공동 연구를 지원하는 프로그램이 필요하다. 또한, 인간 중심의 평가 방식을 도입하고 다학문적 접근을 통해 사회적 영향을 고려하는 연구가 이루어져야 한다.

기사에 인용된 리포트의 원문은 링크에서 확인할 수 있다.

기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다. 

관련 콘텐츠 더보기