AI 추천은 가라! 답 주는 대신, ‘생각’을 더 똑똑하게 만드는 AI가 온다

but for Myself: Assisting People in Complex Decision-Making by Providing Different Kinds of Cognitive Support

AI 의사결정 지원의 두 가지 접근법: 추천 vs 사고 확장

생성형 AI와 같은 기술이 발전함에 따라 인간의 의사결정을 지원하는 방식도 다양해지고 있다. 기존의 AI 지원 모델은 주로 추천 중심으로 작동했다. 사용자에게 특정 결정이나 행동을 직접 제안하는 방식이다. 하지만 마이크로소프트 리서치와 뮌헨 공대 연구팀은 논문에서 이런 접근법의 한계를 지적하며 대안적 방식을 제안했다.

연구팀은 기존의 ‘추천 중심(RecommendAI)’ 접근법과 ‘사고 확장(ExtendAI)’ 접근법을 비교했다. 추천 중심 접근법에서는 AI가 사용자에게 직접적인 행동 방향을 제시한다. 반면 사고 확장 접근법에서는 사용자가 먼저 자신의 생각과 결정 근거를 제시하면, AI가 이를 기반으로 피드백을 제공하고 사용자의 사고 과정을 보완한다.

투자 의사결정을 예로 들면, 추천 중심 AI는 “이 주식을 구매하세요”라고 직접 제안하는 반면, 사고 확장 AI는 사용자가 “이 주식을 구매하려고 하는데 이런 이유에서입니다”라고 설명하면 그 근거에 대해 피드백을 제공한다. 이런 방식으로 사용자는 자신의 사고 과정을 발전시키고 더 나은 결정을 내릴 수 있게 된다.

LLM의 자연어 처리 능력이 열어준 AI 의사결정 지원의 새 지평

대형 언어 모델(LLM)의 등장은 AI가 의사결정 과정에서 더 유연하고 다양한 역할을 수행할 수 있는 가능성을 열었다. 연구진은 LLM이 의학이나 금융과 같은 전문 분야에서 인간 전문가의 성능을 능가하는 경우가 있다고 언급했다. 더 중요한 것은 LLM의 뛰어난 자연어 처리 능력이 비정형 데이터와 인간의 추론을 유연하게 처리할 수 있게 해준다는 점이다. 이는 AI가 사용자의 의사결정 과정에 더 긴밀하게 통합될 수 있는 새로운 기회를 제공한다. 특히 복잡하고 명확하게 정의되지 않은 문제 상황에서 큰 도움이 될 수 있다.

연구팀은 이러한 LLM의 능력을 활용해 사용자가 특정 작업에 대해 순차적으로 추론할 수 있게 도와주는 도구를 개발했다. 이는 사용자에게 미리 정해진 권장 사항을 제공하는 대신, 사용자가 자신의 해결책을 향해 스스로 추론할 수 있도록 지원하는 방식이다.

결과 비교: 확장형 AI는 더 나은 결과를, 추천형 AI는 더 적은 노력을 제공

연구팀은 투자 의사결정 시뮬레이션을 통해 두 가지 AI 접근법(추천형 AI와 확장형 AI)의 효과를 비교했다. 21명의 참가자들이 투자 플랫폼에서 두 가지 AI 도구를 모두 사용해 봄으로써 다양한 결과가 도출되었다.

ExtendAI(사고 확장형)는 의사결정 과정에 더 잘 통합되어 사용자의 사고 과정을 향상시키고 약간 더 나은 결과를 이끌어냈다. 사용자들은 자신의 포트폴리오 약점을 더 잘 이해하고, 더 적은 수의 거래로도 더 효과적인 결과를 얻을 수 있었다. 또한 참가자들은 ExtendAI를 사용할 때 결정에 대한 자신감과 결과에 대한 만족도 사이의 일관성이 더 높았는데, 이는 관련 위험에 대한 이해가 적절했음을 시사한다.

반면 RecommendAI(추천형)는 사용자들에게 새로운 통찰력을 제공하고 인지적 노력을 덜 요구하는 장점이 있었다. 그러나 참가자들은 RecommendAI를 사용할 때 결정 전 높은 자신감과 결과 후 낮은 만족도 사이에 큰 차이를 보였는데, 이는 일종의 과도한 의존이나 AI 생성 결과에 대한 소유권 인식 부족을 반영한다고 볼 수 있다.

흥미롭게도, ExtendAI가 참가자들의 의사결정을 향상시키는 데 더 효과적이었음에도 불구하고, 많은 참가자들은 ExtendAI를 RecommendAI보다 덜 통찰력 있다고 인식했다. 이는 ExtendAI가 참가자들의 결정에 영향을 미치는 방식이 매우 미묘해서 그 기여를 인식하기 어려웠기 때문으로 보인다.

3가지 핵심 딜레마: 실행 가능성, 통찰력의 신선함, 개입 시점의 균형

연구팀은 AI가 인간의 의사결정을 지원할 때 발생하는 몇 가지 주요 긴장 관계를 발견했다. 먼저, 실행 가능성과 인지적 참여 사이의 균형이 중요한 도전 과제로 나타났다. 구체적인 추천은 행동으로 옮기기 쉬운 장점이 있지만, 사용자의 인지적 참여를 줄일 수 있는 단점도 존재한다. 많은 참가자들이 RecommendAI의 구체적인 추천이 행동으로 옮기기 쉽다고 평가했지만, 일부는 이것이 의사결정 과정에서 자신들을 소외시킨다고 느꼈다.

또 다른 긴장 관계는 새로운 통찰력과 사용자 사고와의 일관성 사이에서 나타났다. AI가 제공하는 통찰력은 사용자에게 가치를 주기 위해 ‘새롭고’ 신선해야 한다. 동시에 사용자가 이를 수용하고 의사결정에 쉽게 통합할 수 있도록 사용자의 추론과 일관성이 있어야 한다는 도전 과제가 있다.

세 번째로 확인된 긴장 관계는 AI 개입의 적절한 시점에 관한 것이다. AI 제안은 너무 이르지도, 너무 늦지도 않은 적절한 시점에 도입되어야 한다. 너무 일찍 도입되면 AI 중심의 의도하지 않은 앵커링이 발생할 수 있고, 너무 늦게 도입되면 사용자의 추론에 의미 있게 기여하지 못할 수 있는 균형점이 존재한다.

AI의 역할과 사용자 성향에 따른 선호도 차이

연구에서 흥미로운 점은 두 AI 접근법에 대한 사용자 선호도가 거의 비슷하게 나뉘었다는 것이다. 21명의 참가자 중 11명은 RecommendAI를, 10명은 ExtendAI를 선호했다. 이는 사용자의 성격, 전문성, 의사결정 스타일에 따라 선호도가 크게 달라질 수 있음을 시사한다.

일부 사용자들은 바로 사용할 수 있는 AI 추천을 환영하는 반면, 다른 사용자들은 가능한 한 의사결정 과정에 많이 관여하기를 원해 AI 추천을 거부하는 경향이 있었다. 이는 실제 세계의 작업에서 경험 있는 참가자들(예: 임상의, 조종사)이 추천에 대해 회의적인 경향이 있다는 다른 연구 결과와도 일치한다.

따라서 효과적인 AI 의사결정 지원 시스템은 단순히 신뢰와 의존성 보정에만 초점을 맞추기보다 사용자의 의사결정 과정에 어떻게 AI가 통합될 수 있는지에 더 주목해야 한다. 사용자의 다양한 선호도와 의사결정 스타일을 고려한 유연한 설계가 필요하다.

FAQ

Q. 생성형 AI는 어떻게 의사결정을 지원할 수 있나요?

A: 생성형 AI는 두 가지 주요 방식으로 의사결정을 지원할 수 있습니다. 하나는 직접적인 추천을 제공하는 방식이고, 다른 하나는 사용자가 자신의 생각을 먼저 제시하면 이에 대한 피드백을 제공하여 사고를 확장하는 방식입니다. 연구 결과에 따르면 후자의 방식이 더 나은 결정을 이끌어내는 경향이 있지만, 사용자의 성향에 따라 선호도는 다를 수 있습니다.

Q. AI 의사결정 지원 시스템을 사용할 때 과도한 의존성을 피하려면 어떻게 해야 하나요?

A: 사용자 중심의 사고 과정을 촉진하는 AI 시스템을 선택하는 것이 좋습니다. 자신의 결정 근거를 먼저 작성하고 AI가 이에 대한 피드백을 제공하는 방식(ExtendAI와 같은)은 사용자가 의사결정 과정에 적극적으로 참여하게 하여 과도한 의존성을 줄일 수 있습니다. 또한 AI의 제안을 무비판적으로 수용하기보다 비판적으로 평가하는 습관을 기르는 것이 중요합니다.

Q. 생성형 AI가 의사결정 지원에서 기존 AI 시스템과 어떻게 다른가요?

A: 생성형 AI, 특히 대형 언어 모델(LLM)은 자연어로 표현된 복잡한 사고와 비정형 데이터를 처리할 수 있는 고유한 능력을 가지고 있습니다. 이를 통해 사용자의 개인적인 추론 과정에 더 깊이 통합될 수 있으며, 단순히 예/아니오 추천을 제공하는 것을 넘어 사용자의 사고 과정을 보완하고 확장할 수 있습니다. 이러한 능력은 의료, 금융, 법률과 같이 맥락이 중요하고 복잡한 의사결정 영역에서 특히 가치가 있습니다.

해당 기사에서 인용한 논문 원문은 링크에서 확인할 수 있다.

이미지 출처: but for Myself: Assisting People in Complex Decision-Making by Providing Different Kinds of Cognitive Support

기사는 클로드와 챗GPT를 활용해 작성되었습니다.