DIFFUSION MODELS ARE REAL-TIME GAME ENGINES
구글과 구글 딥마인드 연구진이 AI 모델만으로 복잡한 3D 게임을 실시간으로 구현하는 데 성공했다. 연구진은 이 기술을 ‘GameNGen'(게임엔젠)이라 명명했으며, 기존 게임 개발 방식을 완전히 바꿀 수 있는 새로운 패러다임을 제시했다고 평가받고 있다.
GameNGen은 1993년 출시된 3D 슈팅 게임 ‘둠(DOOM)’을 초당 20프레임 이상의 속도로 실시간 시뮬레이션할 수 있다. 연구진은 “인공지능 모델만으로 복잡한 환경을 실시간 상호작용이 가능한 수준으로 구현한 것은 이번이 처음”이라고 밝혔다.
AI로 게임 구현하기
GameNGen의 학습 과정은 크게 두 단계로 나뉜다.
첫 번째 단계에서는 강화학습(RL) 에이전트가 실제 게임을 플레이하면서 데이터를 수집한다. 이 과정에서 에이전트는 게임 플레이 영상과 입력된 행동(키보드, 마우스 입력 등)을 기록한다.
두 번째 단계에서는 수집된 데이터를 바탕으로 디퓨전 모델(Diffusion Model)을 훈련시킨다. 이 모델은 이전 프레임들과 입력된 행동을 조건으로 다음 프레임을 생성하는 방식으로 작동한다.
연구진은 “기존 텍스트-이미지 생성 모델인 Stable Diffusion을 기반으로 했지만, 실시간 상호작용이 가능하도록 여러 가지 기술적 혁신을 더했다”고 설명했다.
안정적인 자기회귀 생성을 위한 기술적 혁신
GameNGen의 핵심 기술 중 하나는 ‘노이즈 증강(Noise Augmentation)’ 기법이다. 이는 학습 과정에서 이전 프레임들에 인위적으로 노이즈를 추가하는 방식이다.
연구진은 “노이즈 증강을 통해 모델이 자신이 생성한 이전 프레임들의 오류를 보정하는 능력을 갖추게 된다”고 설명했다. 실제로 이 기법을 적용하지 않으면 10-20프레임 이후부터 화질이 급격히 저하되는 현상이 발생했다.
또 다른 중요한 기술은 오토인코더(Auto-encoder)의 디코더 부분을 미세 조정한 것이다. 이를 통해 게임의 HUD(Heads Up Display) 등 세밀한 부분의 품질을 크게 개선할 수 있었다.
놀라운 성능… 사람도 구분 어려워
GameNGen의 성능은 여러 지표를 통해 검증됐다. 단일 프레임 예측의 경우 PSNR(Peak Signal-to-Noise Ratio) 값이 29.43을 기록했는데, 이는 화질 20-30 수준의 JPEG 압축과 비슷한 수준이다.
더욱 놀라운 것은 실제 사람들을 대상으로 한 평가 결과다. 10명의 평가자들에게 GameNGen이 생성한 영상과 실제 게임 영상을 1.6초와 3.2초 길이로 보여주고 구분하게 한 결과, 정답률이 각각 58%와 60%에 그쳤다. 이는 사람들이 AI가 생성한 영상과 실제 게임을 거의 구분하지 못했다는 의미다.
연구진은 “GameNGen이 생성한 영상의 품질이 실제 게임과 비교해도 손색이 없는 수준”이라고 평가했다.
향후 과제와 전망
GameNGen의 현재 버전은 약 3초 분량의 이전 프레임들만을 참조할 수 있다는 한계가 있다. 연구진은 “게임의 전체 상태를 더 오랫동안 기억할 수 있는 아키텍처 개선이 필요하다”고 밝혔다.
또한 현재는 ‘둠’ 한 가지 게임에 대해서만 검증이 이뤄졌다는 점도 한계로 지적된다. 연구진은 “다양한 장르의 게임에 대한 추가 실험이 필요하다”고 언급했다.
그럼에도 GameNGen이 제시하는 새로운 게임 개발 패러다임의 잠재력은 매우 크다고 평가받고 있다. 연구진은 “향후에는 텍스트나 이미지 설명만으로도 게임을 만들 수 있게 될 것”이라고 전망했다.
예를 들어, 기존 게임의 일부 프레임들만 제공하면 AI가 새로운 레벨을 자동으로 생성하거나, 캐릭터의 이미지만 제공하면 새로운 플레이어블 캐릭터를 만들어내는 식의 활용이 가능할 것으로 기대된다.
연구진은 “GameNGen은 게임 개발 비용을 크게 낮추고 접근성을 높일 수 있는 기술”이라며 “궁극적으로는 사람들의 게임 경험을 획기적으로 개선하는 데 기여할 수 있을 것”이라고 밝혔다.
한편 이번 연구 결과는 아직 학술지에 게재되지 않은 프리프린트 논문 형태로 공개됐다. 연구에는 구글 리서치의 다니 발렙스키, 야니브 레비아탄, 텔아비브 대학교의 모아브 아라르, 구글 딥마인드의 슐로미 프루흐터 등이 참여했다.
연구 논문은 링크에서 확인할 수 있다.
본 기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다.
관련 콘텐츠 더보기
