런웨이는 현지 시각 9월 3일 GWM 월드 2(GWM Worlds 2)를 연구 프리뷰로 공개했다. 720p 해상도에 초당 24프레임 영상과 48,000Hz 오디오를 끊김 없이 생성하면서, 이용자의 입력에 실시간으로 반응하는 모델이다.
월드 모델은 완성된 영상을 재생하는 대신 이용자의 조작에 맞춰 다음 장면을 그 자리에서 생성하는 모델을 말한다. 런웨이가 지난해 12월 공개한 GWM 월드는 이동과 탐색 위주였고 소리가 없었다. GWM 월드 2에는 오디오 생성이 추가됐고, 화면에 등장하는 대상과 배경을 각각 지정해 제어할 수 있다.
조작 방식은 텍스트로 적은 동작을 특정 대상이나 장면에 지정하고, 여기에 카메라 움직임을 함께 쓰는 형태다. 시연에서는 W 키를 “캐릭터가 앞으로 이동”, 좌클릭을 “캐릭터가 공을 던진다”에 연결했다. 클립 길이가 정해져 있지 않아 입력이 이어지는 동안 계속 생성된다. 이미지 한 장 대신 기존 8초 영상 뒤를 이어 플레이하는 것도 가능하다.
런웨이는 활용 방식으로 영화 제작처럼 미리 생성해 두는 형태, 비주얼 노벨처럼 차례를 주고받는 형태, 게임처럼 실시간으로 반응하는 형태를 제시했다. 라이브킷을 사용해 여러 사람이 각각 다른 대상을 맡는 멀티플레이도 지원한다. 에이전트가 캐릭터 행동과 조명 같은 환경을 동시에 제어하는 시연에서는 “빨간 깃발로 이동”이라는 목표를 첫 시도에 달성했다고 밝혔다.
크리스토발 발렌수엘라 공동 최고경영자는 X에 “정해진 동작 목록이나 이동만이 아니라 임의의 동작으로 일반화되는 첫 월드 모델”이라며 “게임과 상호작용 경험을 구축하고 이런 시뮬레이션 안에서 에이전트를 학습시키는 데 실제로 중요한 것은 동적인 동작”이라고 적었다.
런웨이는 한계도 함께 밝혔다. 실시간 생성은 속도를 위해 화질을 희생하며, 카메라를 빠르게 돌리면 디테일과 질감, 형태가 무너질 수 있다. 장기 기억도 불완전하고, 첫 프레임 외의 이미지 참조나 미리 채워 넣은 영상·오디오는 지원하지 않는다. 연구 프리뷰 단계여서 홈페이지에는 문의 양식만 있고 가격과 일반 공개 일정은 공개되지 않았다.
자세한 내용은 런웨이 리서치에서 확인할 수 있다.
이미지 출처: 런웨이
