NPC와 대화 가능한 VR 게임 등장… 직접 경찰관 되어 AI 용의자 심문한다

지금까지 게임에서는 캐릭터와 대화할 때 미리 정해진 선택지만 고를 수 있었다. “안녕하세요”라고 인사하는 NPC에게 1번, 2번, 3번 중 하나만 선택하는 식이었다. 하지만 핀란드 연구팀이 챗GPT로 유명한 GPT-4 기술을 VR 게임에 접목해 완전히 새로운 경험을 만들어냈다. 이들이 개발한 VR 게임에서는 플레이어가 마이크로 직접 말하면 게임 캐릭터가 실시간으로 답변한다. “어제 밤 9시에 뭐했어?”라고 자유롭게 질문하면 AI가 상황에 맞는 답변을 즉석에서 만들어 캐릭터 목소리로 들려주는 것이다. 플레이어는 경찰관이 되어 AI가 조종하는 용의자를 직접 심문하고, 동료 경찰의 조언도 실시간으로 받을 수 있다.

게임 내용은 간단하다. 동네 마트에서 맥주를 훔친 용의자를 심문하는 것이다. 플레이어는 VR 헤드셋을 쓰고 심문실에 들어가 용의자에게 직접 말을 걸 수 있다. 심지어 동료 경찰 캐릭터가 옆에서 “이런 질문을 해보세요” 같은 조언도 해준다. 18명이 실제로 이 게임을 체험하고 평가했다.

대화할수록 느려지는 AI, 평균 7초 기다려야 답변

하지만 현실은 아직 아쉬웠다. 플레이어가 질문을 하면 AI 캐릭터가 답변하기까지 평균 7초가 걸렸다. 실제 사람과 대화할 때는 보통 12초 안에 답변이 나오는 것과 비교하면 상당히 느린 편이다. 더 문제는 대화가 길어질수록 더 느려진다는 점이다. 처음에는 2초 정도로 빨랐지만, 나중에는 24초까지 걸리기도 했다.

이런 지연이 생기는 이유는 AI가 이전 대화 내용을 모두 기억해야 하기 때문이다. 사람과 자연스러운 대화를 하려면 앞서 무슨 얘기를 했는지 알아야 하는데, 대화가 길어질수록 AI가 처리해야 할 정보량이 늘어나는 것이다. 마치 책을 읽을 때 처음부터 다시 읽어야 내용을 이해할 수 있는 것과 비슷하다. 세부적으로 보면 플레이어의 음성을 글자로 바꾸는 데 1.4초, AI가 답변을 생각하는 데 3.1초, 그 답변을 다시 음성으로 바꾸는 데 2.4초가 걸렸다. AI가 답변을 생각하는 시간이 가장 오래 걸리는 부분이었다.

똑똑함과 행동은 인간급, 감정 표현은 아직 어색

AI 캐릭터의 똑똑함을 10점 만점으로 평가했을 때 전체적으로 6.67점을 받았다. 특히 행동의 자연스러움(8.09점), 사회적 상호작용(8.24점), 지능(7.99점)에서 높은 점수를 받았다. 게임을 해본 사람들은 “정말 사람과 대화하는 것 같다”고 평가했다. 하지만 감정 표현(6.16점)과 개성(5.74점)은 아직 부족했다. 연구팀이 의도적으로 캐릭터를 감정적이지 않게 만들었기 때문이기도 하다. 용의자는 긴장하고 어색하게, 동료 경찰은 차분하고 전문적으로 행동하도록 설정했다.

흥미로운 점은 처음에 GPT-3.5를 사용했는데 호주 억양을 너무 과하게 써서 알아듣기 어려웠다고 한다. 그래서 더 똑똑한 GPT-4로 바꿨더니 훨씬 자연스러워졌다.

게임 사용법은 쉬웠지만, 답변 속도 개선 필요

VR을 처음 써보는 사람들도 게임 사용법을 쉽게 익혔다. 사용 편의성을 100점 만점으로 평가했을 때 79.44점을 받아 ‘좋음’ 등급을 받았다. 특히 조언해주는 동료 경찰 캐릭터는 5점 만점에 4.28점으로 매우 높은 평가를 받았다. 하지만 응답 속도 문제는 여전했다. 참가자들은 “답변이 너무 늦어서 현실감이 떨어진다”(5점 만점에 3.33점), “답변이 빨랐다면 더 재미있었을 것”(3.61점)이라고 답했다. 실제 대화 같은 느낌을 주려면 답변 속도가 더 빨라져야 한다는 의미다.

미래 게임의 모습을 엿보다

이 연구는 미래 게임이 어떤 모습일지 보여준다. 미리 짜인 대사가 아닌, 플레이어와 실시간으로 대화하는 똑똑한 캐릭터들이 등장하는 것이다. 지금은 답변 속도가 느리지만, 기술이 발전하면 실제 사람과 구분하기 어려울 정도로 자연스러운 대화가 가능해질 전망이다. 특히 교육용 게임이나 훈련 시뮬레이션에서 활용도가 높을 것으로 보인다. 경찰 훈련, 의료진 교육, 언어 학습 등에서 AI 캐릭터가 선생님이나 환자, 대화 상대 역할을 할 수 있기 때문이다.

FAQ

Q: 이런 기술이 실제 게임에 언제쯤 적용될까요?

A: 간단한 대화나 도우미 역할은 지금도 가능합니다. 하지만 완전히 자연스러운 대화를 위해서는 답변 속도 개선이 필요해 2-3년은 더 걸릴 것으로 예상됩니다.

Q: 모든 게임 캐릭터가 이렇게 똑똑해지나요?

A: 아직은 비용과 기술적 한계로 특별한 경우에만 사용될 것 같습니다. 일반 게임에 광범위하게 적용되려면 시간이 더 필요합니다.

Q: VR 없이도 이런 AI 캐릭터와 대화할 수 있나요?

A: 네, 가능합니다. VR은 더 생생한 경험을 위한 것이고, 일반 컴퓨터나 스마트폰에서도 비슷한 AI 대화가 가능합니다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문 명: An Empirical Evaluation of AI-Powered Non-Player Characters’ Perceived Realism and Performance in Virtual Reality Environments

이미지 출처: An Empirical Evaluation of AI-Powered Non-Player Characters’ Perceived Realism and Performance in Virtual Reality Environments

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.