MIT 미디어랩과 캘리포니아 대학교 얼바인 캠퍼스 연구진이 수행한 최근 연구에 따르면, 대규모 언어 모델(LLM)을 기반으로 한 생성형 AI 챗봇이 목격자 진술에서 허위 기억을 유발할 가능성이 기존 설문 방식보다 약 1.7배, 통제 집단보다는 3배 이상 높은 것으로 나타났다. 이 연구는 AI 기술의 발전이 인간의 기억 형성 과정에 미치는 영향을 실험적으로 검증했다는 점에서 주목받고 있다.

연구팀은 200명의 참가자들을 대상으로 실험을 진행했다. 참가자들은 무장 강도 사건을 담은 2분 30초 길이의 CCTV 영상을 시청한 후, 네 가지 조건(통제군, 설문 기반, 사전 스크립트 챗봇, 생성형 챗봇) 중 하나에 무작위로 배정되어 영상 내용에 대한 질문에 답변했다. 질문 중에는 실제 영상과 일치하지 않는 오도성 질문이 포함되어 있었다.

실험은 두 단계로 구성되었다. 1단계에서 참가자들은 영상을 시청한 직후 감정 상태를 자가 평가하고, 주의를 분산시키기 위한 간단한 활동을 수행했다. 그 후 배정된 조건에 따라 영상 내용에 대한 질문에 답변했다. 2단계는 1주일 후에 진행되었으며, 참가자들은 다시 영상 내용을 회상하고 동일한 질문에 답변했다. 이러한 설계는 실제 목격자 진술 상황을 모사하여 AI와의 상호작용이 단기 및 장기 기억 형성에 미치는 영향을 평가하기 위한 것이었다.

실험 결과, 생성형 AI 챗봇과 상호작용한 참가자들이 가장 많은 허위 기억을 형성했다. 생성형 AI 챗봇 조건에서는 36.4%의 응답이 허위 기억으로 판명되었으며, 이는 통제군(10.8%)의 3배 이상, 설문 기반 방식(21.6%)의 1.7배에 달하는 수치다. 이는 생성형 AI 챗봇이 기존의 설문 방식이나 사전 스크립트 챗봇보다 훨씬 더 효과적으로 허위 기억을 유도할 수 있음을 보여준다.

더욱 우려되는 점은 생성형 AI 챗봇으로 인해 형성된 허위 기억이 1주일 후에도 그 수가 유지되었다는 것이다. 통제군과 설문 기반 조건에서는 1주일 후 허위 기억의 수가 증가한 반면, 생성형 AI 챗봇 조건에서는 초기 형성된 허위 기억의 수가 거의 그대로 유지되었다. 이는 AI 챗봇과의 상호작용이 더 강력하고 지속적인 허위 기억을 형성할 수 있음을 시사한다.

또한 이러한 허위 기억에 대한 확신도 역시 1주일 후에도 통제군보다 높게 유지되었다. 생성형 AI 챗봇 조건의 참가자들은 자신들의 허위 기억에 대해 더 높은 확신을 보였으며, 이러한 경향은 시간이 지나도 유지되었다. 이는 AI 챗봇과의 상호작용이 단순히 허위 기억을 형성하는 데 그치지 않고, 그 기억에 대한 확신도 강화할 수 있음을 보여준다.

연구진은 생성형 AI 챗봇이 허위 기억을 더 많이 유발하는 이유를 다양한 요인으로 분석했다. 첫째, 챗봇의 대화형 특성이 참가자들의 주의와 감정적 투자를 높인다. AI 챗봇과의 실시간 상호작용은 더 몰입도 높은 경험을 제공하며, 이는 정보의 인코딩과 기억 형성에 영향을 미칠 수 있다. 둘째, 생성형 AI의 즉각적인 피드백이 확증 편향을 강화할 수 있다. 사용자의 응답에 대한 AI의 즉각적인 확인과 상세한 설명은 잘못된 정보를 더욱 강화할 수 있다. 셋째, 사용자들이 AI 시스템을 신뢰성 있는 정보원으로 인식하는 경향이 있다. AI에 대한 이러한 신뢰는 AI가 제공하는 정보를 더 쉽게 수용하고 기억하게 만들 수 있다. 마지막으로, 반복된 노출과 맥락 변화가 정보의 출처를 혼동시킬 수 있다. AI 챗봇과의 대화 과정에서 동일한 정보가 다양한 맥락에서 반복되면, 참가자들은 그 정보의 출처를 정확히 구분하기 어려워질 수 있다.

이러한 메커니즘들은 복합적으로 작용하여 생성형 AI 챗봇이 더 효과적으로 허위 기억을 유도하고 강화하는 것으로 보인다. 특히 AI 챗봇의 개인화된 응답과 상세한 설명은 참가자들의 기억을 재구성하는 과정에 큰 영향을 미치는 것으로 나타났다.

이 연구 결과는 법 집행, 의료, 교육 등 기억의 정확성이 중요한 분야에서 AI 시스템 사용에 대한 윤리적 고려사항을 제기한다. 특히 경찰 조사나 법정 증언과 같은 상황에서 AI 챗봇의 사용이 목격자의 기억을 왜곡시킬 수 있다는 점은 매우 우려되는 부분이다. 연구진은 AI와의 상호작용에서 허위 기억 형성 위험을 줄이기 위한 전략 개발의 필요성을 강조했다.

이를 위해 연구팀은 몇 가지 방안을 제시했다. 첫째, AI 시스템과 상호작용할 때 발생할 수 있는 오류나 편향에 대해 사용자들에게 명시적으로 경고하는 것이 필요하다. 둘째, 비판적 사고를 장려하는 인터페이스 설계가 중요하다. 사용자들이 AI의 응답을 무비판적으로 수용하지 않고, 자신의 기억과 비교하며 검토할 수 있도록 유도해야 한다. 셋째, AI 리터러시 교육의 강화가 필요하다. 사용자들이 AI 시스템의 한계와 잠재적 위험을 이해하고, 이를 적절히 활용할 수 있는 능력을 키워야 한다.

향후 연구 방향으로는 AI 유도 허위 기억의 장기 지속성 평가, 다중 감각 AI 시스템의 영향 연구, 그리고 AI 기술 발전에 따른 윤리 지침 개발 등이 제시되었다. 특히 1주일 이상의 장기간에 걸친 허위 기억의 지속성과 변화 양상을 조사하는 것이 중요하다. 또한 텍스트뿐만 아니라 이미지, 음성, 동영상 등을 결합한 다중 감각 AI 시스템이 기억 형성에 미치는 영향을 연구할 필요가 있다. 이는 가상현실(VR)이나 증강현실(AR) 기술과 결합된 AI 시스템의 영향을 예측하고 대비하는 데 도움이 될 것이다.

더불어 AI 기술의 발전 속도를 고려할 때, 지속적인 연구와 윤리 지침의 업데이트가 필요하다. AI 시스템의 능력이 향상될수록 인간의 기억과 인지 과정에 미치는 영향도 더욱 복잡해질 것이기 때문이다. 따라서 기술 발전과 윤리적 고려 사항을 균형 있게 다루는 지침을 개발하고 주기적으로 검토하는 것이 중요하다.

이 연구는 AI 기술이 인간의 인지 과정에 미치는 영향에 대한 이해를 깊게 하고, 향후 AI 시스템 개발 및 적용에 있어 중요한 시사점을 제공한다. AI 기술의 혜택을 누리면서도 인간의 기억과 의사결정 과정의 온전성을 보장할 수 있는 방안 모색이 시급해 보인다. 이를 위해서는 기술 개발자, 정책 입안자, 법률 전문가, 심리학자 등 다양한 분야의 전문가들이 협력하여 종합적인 접근 방식을 개발해야 할 것이다.

결론적으로, 이 연구는 AI 기술의 발전이 가져올 수 있는 예기치 않은 결과를 보여주는 중요한 사례다. AI 챗봇과 같은 기술이 우리의 일상생활과 업무 환경에 깊이 통합되고 있는 현 시점에서, 이러한 기술이 인간의 기억과 인지 과정에 미치는 영향을 지속적으로 모니터링하고 연구하는 것이 필수적이다. 이를 통해 우리는 AI 기술의 혜택을 최대화하면서도 잠재적 위험을 최소화할 수 있는 균형 잡힌 접근 방식을 개발할 수 있을 것이다.

기사에 인용된 리포트 원문은 링크에서 확인할 수 있다.

본 기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다. 

관련 콘텐츠 더보기