LLM 기반 ‘의도 경제’ 시대의 도래… 개인의 선호도와 동기가 상품이 된다

Beware the Intention Economy: Collection and Commodification of Intent via Large Language Models

사용자의 동기와 의도를 상품화하는 ‘의도 경제’의 도래

HDRS(Harvard Data Science Review)에 지난달 31일(현지 시간) 게재된 보고서에 따르면, 대규모 언어모델(LLM)의 발전으로 인간의 행동과 심리를 반영하는 ‘의도 데이터’를 거래하는 새로운 시장이 형성되고 있다. 1990년대부터 지금까지 디지털 경제의 핵심이었던 ‘관심 경제(Attention Economy)’가 사용자의 한정된 관심을 기반으로 했다면, 앞으로의 ‘의도 경제(Intention Economy)’는 사용자의 동기와 의도를 직접적으로 상품화한다. 의도 경제(Intention Economy)는 ‘디지털화된 의도 신호를 거래하는 시장’으로 정의된다.

빅테크의 새로운 각축장 – 의도 데이터 선점 경쟁

마이크로소프트(Microsoft)는 클라우드 플랫폼 애저(Azure)를 통해 “인류 역사상 가장 큰 규모의 인프라 구축”을 진행 중이다. 2022년 애저는 이미 마이크로소프트 전체 수익의 1/3을 차지했으며, 2024년부터는 연간 500억 달러 이상을 투자할 계획이다. 특히 마이크로소프트는 OpenAI에 초기 10억 달러를 투자했는데, 이는 “소규모 그룹이 지휘하는 단일 투자로는 소련의 국가계획위원회(Gosplan) 수준”이라는 평가를 받았다.

엔비디아(NVIDIA) CEO 젠슨 황은 “앞으로 모든 컴퓨터 상호작용의 최전선에 LLM이 위치할 것”이라며 “LLM이 사용자의 의도와 욕구를 파악하고 최적의 정보를 제공하게 될 것”이라고 전망했다.

개인 맞춤형 설득의 새로운 차원

LLM은 일반적인 대화를 넘어 사용자의 심리와 의도에 개입할 수 있는 수준으로 발전했다. 대표적인 사례로 메타(Meta)의 AI 에이전트 CICERO는 전략과 협상이 필요한 게임 ‘Diplomacy’에서 인간 수준의 플레이를 달성했다. 이는 AI가 인간의 의도를 추론하고 설득하는 능력을 갖추게 되었음을 보여준다.

메타의 연구진은 ‘Intentonomy’ 데이터셋을 통해 안전과 소속감, 권력, 건강, 가족, 야망과 능력, 재정적·직업적 성공 등 28개의 의도 카테고리를 분류했다. OpenAI 역시 GPT 커스터마이제이션을 통해 개발자들과 수익을 공유하며 다양한 맥락에서 의도 데이터를 수집하는 전략을 펼치고 있다.

의도 경제의 새로운 작동 방식

현재의 광고 시장에서 광고주들은 실시간 광고 입찰(RTB) 네트워크나 다음 달의 지하철 광고 공간과 같이 ‘현재’와 ‘미래’의 관심을 구매한다. LLM은 이러한 시장 형태를 더욱 다양화한다. 예를 들어 AI는 “오늘 밤 스파이더맨을 보는 게 어떠세요?”와 같은 실시간 제안부터, “지난번 말씀하신 것처럼 업무에 지친 것 같은데, 영화 티켓을 예매해드릴까요?”처럼 이전 대화 맥락을 활용한 미래 지향적 제안까지 가능하다. 더욱 주목할 점은 이러한 제안들이 사용자의 말투, 정치적 성향, 어휘 사용, 나이, 성별 등 개인의 행동 패턴과 심리 프로필에 맞춰 실시간으로 생성된다는 것이다.

AI의 의도 이해와 조작 가능성

2024년 마이크로소프트 연구진은 “Using Large Language Models to Generate, Validate, and Apply User Intent Taxonomies” 연구를 통해 의도를 “AI 에이전트와 대화하는 사용자의 목적”으로 정의했다. 이들은 정보 검색, 문제 해결, 학습, 콘텐츠 생성, 여가 등의 카테고리로 사용자의 의도를 분류했다. 이는 기존의 웹 검색 쿼리 분류에서 한 걸음 더 나아가, LLM이 사용자의 의도를 체계적으로 이해하고 대응하는 기반을 마련했다는 점에서 주목할 만하다. 그러나 이러한 발전은 동시에 사용자의 의도를 보다 정교하게 조작할 수 있는 가능성도 제시한다.

민주주의에 대한 새로운 위협

2014년 키일 자렛(Kylie Jarrett)은 “A Database of Intention?” 연구에서 구글이 사용자의 검색 데이터를 통해 의도 데이터베이스를 구축하고 있다고 지적했다. 이는 케임브리지 애널리티카 스캔들로 이어졌는데, 페이스북의 ‘좋아요’ 버튼이 사용자의 심리 프로파일링에 활용된 것이 대표적 사례다.

현재 RTB 네트워크는 이미 50억 명 이상의 프로필을 보유하고 있으며, 외국 정부나 비국가 행위자들이 개인의 재정 문제, 정신 상태, 은밀한 비밀 등을 감시하는 데 활용될 수 있다는 우려가 제기됐다.

기업들의 움직임과 우회 전략

2023년 5월, Dotdash Meredith는 의도 타겟팅 도구 ‘D/Cipher’를 출시했다. 이어 2024년에는 OpenAI와 전략적 파트너십을 체결하여 “더욱 세분화되고 정교한 광고 타겟팅”을 제공하기 시작했다. 이는 제3자 쿠키가 사라지는 시대에 대비한 새로운 타겟팅 전략으로 평가받는다. 애플(Apple)은 ‘App Intents’ 개발자 프레임워크를 통해 “미래의 행동을 예측하고 제안하는” 기능을 구현 중이며, ChatGPT를 시스템 레벨에서 통합할 계획이다.

시사점과 대응 과제

인지과학자 마가렛 보든(Margaret Boden)은 의도가 “고도로 구조화된 시스템 내에서 발생하는 고도로 구조화된 현상”이라고 설명했다. 이는 디지털 환경이 사용자의 행동 가능성을 규정한다는 것을 의미한다. 특히 기존의 의도 경제 논의가 소비자 해방의 관점에서 이루어졌던 것과 달리, 현재의 의도 경제는 은밀한 조작과 개입을 통해 민주주의적 규범을 위협할 수 있다.

따라서 전문가들은 학계, 시민사회, 규제 당국의 지속적인 감시가 필요하다고 지적한다. 특히 자유롭고 공정한 선거를 보호하기 위한 장치를 마련하고, 언론의 자유와 공정한 시장 경쟁을 보장하며, 개인의 자율성과 프라이버시를 보호하기 위한 제도적 장치가 시급하다고 강조했다.

해당 리포트의 원문은 링크에서 확인할 수 있다.

기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다.