Google DeepMind, 확장 가능하고 도메인 독립적인 추상적 명제 분할 기술 개발

Google DeepMind 연구진이 텍스트를 의미 단위로 분할하는 ‘추상적 명제 분할(Abstractive Proposition Segmentation, APS)’ 기술의 획기적인 발전을 이뤄냈다. 이 기술은 문서를 단순히 문장 단위로 나누는 것을 넘어, 의미의 최소 단위인 ‘명제’로 분할함으로써 다양한 자연어 처리 작업의 성능을 크게 향상시킬 수 있는 잠재력을 지니고 있다.

연구진은 기존의 소수 샷 프롬프팅(few-shot prompting) 방식의 한계를 극복하고, 대규모 언어 모델(LLM)을 활용한 새로운 접근법을 제시했다. 이 접근법은 APS 품질을 다각도로 평가할 수 있는 자동 평가 지표 개발, 기존의 주석 처리된 데이터셋을 활용한 지도 학습 방식 도입, 그리고 다중 도메인 합성 데이터를 활용한 지식 증류 기반의 소형 모델 학습을 포함한다.

특히, 연구진은 대형 언어 모델을 교사 모델로 활용하여 다양한 도메인의 합성 데이터에 대한 명제 분할을 수행한 후, 이를 바탕으로 Gemma 7B와 같은 소형 모델을 학생 모델로 학습시켰다. 이 방식을 통해 교사 모델에 버금가는 성능을 보이면서도 훨씬 가벼운 모델을 얻을 수 있었다. 이는 계산 리소스가 제한된 환경에서도 고성능의 APS 기술을 활용할 수 있게 해주는 중요한 성과다.

연구진은 이 기술의 효과를 검증하기 위해 뉴스 도메인의 ROSE 데이터셋, 그리고 Reddit과 Amazon 리뷰라는 새로운 도메인의 데이터셋에서 평가를 진행했다. 그 결과, 개발된 모델이 기존의 소수 샷 프롬프팅 방식을 크게 앞서는 성능을 보였으며, 특히 훈련 데이터에 포함되지 않은 새로운 도메인에서도 우수한 일반화 능력을 입증했다. 이는 APS 기술이 특정 도메인에 국한되지 않고 다양한 종류의 텍스트에 적용될 수 있음을 보여주는 중요한 결과다.

Google DeepMind의 바룬 파르마르(Varun Parmar) 연구원은 “우리의 접근 방식은 명제 분할의 품질을 높이는 동시에 계산 비용을 크게 줄일 수 있습니다. 이는 대규모 텍스트 처리가 필요한 다양한 NLP 애플리케이션에 실질적인 혜택을 줄 것입니다”라고 설명했다. 이는 APS 기술이 단순한 연구 수준을 넘어 실제 산업 현장에서 활용될 수 있는 가능성을 시사한다.

이 연구의 또 다른 주요 성과는 NLP 연구자들이 쉽게 사용할 수 있는 APS API를 개발한 것이다. 이를 통해 연구자들은 소수 샷 프롬프팅 대신 더 효율적이고 정확한 명제 분할 도구를 활용할 수 있게 되었다. API의 공개는 APS 기술의 확산과 발전을 가속화할 것으로 예상되며, 이는 NLP 커뮤니티 전체에 긍정적인 영향을 미칠 것이다.

연구진이 개발한 APS 기술은 정보 검색, 사실 확인, 요약문 평가 등 다양한 NLP 작업의 성능 향상에 기여할 것으로 기대된다. 예를 들어, 정보 검색 시스템에서는 문서 전체가 아닌 개별 명제 단위로 인덱싱을 수행함으로써 더 정확하고 세밀한 검색 결과를 제공할 수 있다. 사실 확인 시스템에서는 긴 문장을 개별 명제로 분할하여 각 명제의 사실 여부를 독립적으로 검증할 수 있게 된다. 또한 요약문 평가에서는 원문과 요약문을 명제 단위로 비교함으로써 요약의 정확성과 완전성을 더 정밀하게 평가할 수 있다.

특히 이 기술은 문서의 의미를 더 정확하게 파악하고 처리해야 하는 고급 AI 시스템 개발에 큰 도움이 될 전망이다. 예를 들어, 대화형 AI 시스템에서는 사용자의 복잡한 질문이나 요청을 개별 명제로 분할하여 각각에 대해 정확한 응답을 생성할 수 있다. 또한 자동 번역 시스템에서는 원문의 각 명제를 독립적으로 번역한 후 이를 자연스럽게 조합함으로써 번역의 정확성을 높일 수 있다.

다만 연구진은 현재의 APS 모델이 여전히 잘못된 출력이나 환각을 생성할 가능성이 있다는 점을 지적하며, 후속 응용 연구에서 이를 고려해야 한다고 조언했다. 이는 AI 모델의 출력을 무비판적으로 수용하는 것이 아니라, 적절한 검증과 보완 절차가 필요함을 시사한다. 향후 연구에서는 모델의 신뢰성을 더욱 높이고 오류를 최소화하는 방안을 모색해야 할 것이다.

Google DeepMind의 이번 연구는 NLP 분야에서 텍스트의 의미를 더욱 정교하게 분석하고 활용할 수 있는 길을 열었다는 점에서 큰 의의가 있다. 기존의 문장 단위 처리에서 벗어나 더 작고 정확한 의미 단위로 텍스트를 다룰 수 있게 됨으로써, AI 시스템의 언어 이해 및 생성 능력이 한 단계 도약할 수 있는 기반이 마련되었다.

향후 이 기술이 다국어 환경으로 확장되고, 다양한 실제 애플리케이션에 적용되면서 AI의 언어 이해 능력이 한층 더 발전할 것으로 기대된다. 예를 들어, 다국어 APS 모델이 개발된다면 언어 간 의미 전달의 정확성을 높이고 문화적 차이로 인한 오해를 줄이는 데 기여할 수 있을 것이다. 또한 법률, 의료, 금융 등 전문 분야에서 APS 기술을 활용하면 복잡한 전문 문서를 더 정확하게 분석하고 처리할 수 있게 될 것이다.

결론적으로, Google DeepMind의 APS 기술 개발은 AI의 언어 이해 능력을 한 단계 끌어올리는 중요한 이정표가 될 것으로 보인다. 이 기술이 널리 보급되고 발전함에 따라, 우리는 더욱 자연스럽고 정확한 인간-AI 상호작용을 경험하게 될 것이며, 이는 다양한 산업 분야에서 혁신적인 변화를 이끌어낼 것으로 전망된다.

기사에 인용된 리포트 원문은 링크에서 확인할 수 있다.

기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다. 

관련 콘텐츠 더보기