Using ChatGPT-4 for the Identification of Common UX Factors within a Pool of Measurement Items from Established UX Questionnaires
UX 평가의 현재와 도전과제
사용자 경험(UX) 평가에서 표준화된 설문지는 가장 널리 사용되는 방법이다. 비용 효율적이고 빠르게 적용할 수 있다는 장점 때문이다. 그러나 지난 수십 년간 개발된 다양한 UX 설문지들은 각기 다른 요소와 항목들을 사용하고 있다. 같은 개념을 다르게 부르거나, 같은 이름으로 다른 것을 측정하는 경우도 있어 혼란을 야기하고 있다.
AI로 풀어낸 UX의 미스터리
우리는 매일 스마트폰, 웹사이트, 앱을 사용하면서 ‘사용자 경험(UX)’을 하고 있다. 어떤 서비스는 직관적이고 편리한 반면, 어떤 서비스는 불편하고 복잡하다. 독일 라인마인 응용과학대학교 연구팀은 이러한 사용자 경험의 비밀을 챗GPT-4(ChatGPT-4)를 통해 분석했다. 40개의 UX 설문지 중 의미차별척도를 사용하는 설문지와 특정 평가 목적에 맞춘 설문지를 제외한 19개 설문지의 408개 측정 항목을 분석 대상으로 선정했다.
AI 분석의 정교한 방법론

연구팀은 챗GPT-4를 활용해 7단계로 구성된 세밀한 분석을 진행했다. 이 과정에서 연구팀은 챗GPT-4에 아래와 같은 프롬프트를 순차적으로 제시하며 분석을 구체화했다. 첫 단계에서는 유사성이 높은 질문을 추출했으며, 이후 각 섹션을 더 세부적으로 분류하고, 이를 기반으로 분류 체계를 개선했다. 이어서 기존에 정의된 16개의 UX 요소와 비교를 진행하며, 종합적 주제를 도출했다. 마지막 단계에서는 특정 UX 개념과 관련된 항목을 필터링해 최종 분석을 완성했다.
AI가 발견한 좋은 UX의 6가지 핵심 요소
연구팀은 챗GPT-4에게 40개의 UX 설문지에서 추출한 408개의 평가 항목을 분석하도록 했다. 그 결과 AI는 좋은 사용자 경험을 만드는 여섯 가지 핵심 요소를 찾아냈다:

- 사용성과 직관성: 서비스를 얼마나 쉽게 이해하고 사용할 수 있는지
- 콘텐츠 품질과 명확성: 제공되는 정보가 얼마나 유용하고 이해하기 쉬운지
- 몰입과 경험: 서비스를 사용할 때 얼마나 몰입감 있는 경험을 제공하는지
- 신뢰성과 안정성: 서비스가 얼마나 안정적이고 신뢰할 만한지
- 참신성과 정체성: 서비스가 얼마나 독창적이고 차별화된 특징을 가지는지
- 가치와 충성도: 사용자가 느끼는 서비스의 가치와 재사용 의향
연구의 주요 발견
이번 연구는 AI의 분석 과정을 통해 몇 가지 흥미로운 결과를 도출했다. 먼저, AI가 도출한 주제의 대부분이 기능적 측면에 집중된 반면, 감성적 요소는 상대적으로 적게 나타나 기능적 요소와 감성적 요소 간의 차이를 확인할 수 있었다. 또한, 분석 과정에서 같은 의미를 서로 다른 표현으로 측정하는 항목들이 발견되었으며, 일부 항목은 여러 카테고리에 중복으로 분류되기도 해 평가 항목 간의 연관성을 엿볼 수 있었다.
한편, AI는 ‘참신성’과 ‘정체성’을 독립적인 요소로 완벽히 분류하지 못했고, 웹사이트에 특화된 UX 요소들을 별도로 구분하는 데도 한계를 보였다. 이러한 발견은 AI가 UX 평가와 설계 과정에서 유용한 도구로 활용될 가능성을 보여주면서도, 분석의 미세한 부분에서는 인간의 추가적 개입이 필요함을 시사한다.
분석 결과의 실무적 활용
이 연구 결과는 UX 전문가들에게 실용적인 도구를 제공한다. 예를 들어 ‘사용성과 직관성’ 카테고리에서는 “시스템을 사용하기 쉽다”, “기술적인 도움 없이도 사용할 수 있다” 등의 구체적인 평가 항목을 제시한다. 이러한 항목들은 새로운 디지털 서비스의 UX를 평가하고 개선하는 데 직접적으로 활용될 수 있다.
AI와 UX의 시너지
이번 연구는 AI가 복잡한 사용자 경험을 체계적으로 분석할 수 있다는 것을 보여준다. 특히 챗GPT-4는 수백 개의 평가 항목을 빠르게 분석하고 의미 있는 패턴을 찾아내는 데 탁월한 능력을 보여줬다. 이는 향후 더 나은 디지털 서비스를 만드는 데 AI가 중요한 역할을 할 수 있음을 시사한다.
연구진은 “AI가 UX 전문가를 대체하는 것이 아니라, UX를 더 깊이 이해하고 개선하는 데 도움을 주는 도구”라고 강조한다. AI의 분석력과 UX 전문가의 통찰력이 만나 더 나은 디지털 경험을 만들어낼 수 있다는 것이다.
이번 연구 결과는 UX의 주요 요소를 파악하고 개선 방향을 설정하는 데 중요한 통찰을 제공하며, AI 활용의 가능성과 한계를 동시에 보여준 사례로 의미를 가진다.
기사에 인용된 논문의 원문은 링크에서 확인할 수 있다.
기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다.
관련 콘텐츠 더보기