런웨이(Runway)가 지난달 31일(현지 시간) 미디어 생성과 세계 일관성을 위한 차세대 AI 모델 시리즈인 ‘Gen-4’를 발표했다. 이번 신규 모델은 장면 전반에 걸쳐 일관된 캐릭터, 위치 및 객체를 정밀하게 생성할 수 있는 기능을 제공한다.
Gen-4는 사용자가 원하는 모습과 느낌을 설정하면 각 프레임의 독특한 스타일, 분위기 및 영화적 요소를 유지하면서 일관된 세계 환경을 유지한다. 또한 장면 내에서 다양한 관점과 위치에서 이러한 요소들을 재생성할 수 있다. 런웨이에 따르면, Gen-4는 시각적 참조와 지시를 결합하여 일관된 스타일, 주제, 위치 등을 활용한 새로운 이미지와 비디오를 만들 수 있다. 이를 통해 사용자는 자신의 이야기를 전달할 수 있는 전례 없는, 창의적 자유를 얻게 된다. 특히 추가적인 미세 조정이나 훈련 없이도 이러한 기능을 사용할 수 있다.
Gen-4는 하나의 간단한 인터페이스로 무한한 워크플로우와 기능을 제공한다. 주요 기능으로는 일관된 캐릭터, 일관된 객체, 다양한 각도 촬영, 제작 준비된 비디오, 물리학, GVFX(생성형 시각 효과) 등이 있다. Gen-4는 캐릭터의 단일 참조 이미지만으로 다양한 조명 조건, 위치 및 처리 방식에 걸쳐 일관된 캐릭터를 생성할 수 있다. 이를 통해 사용자는 다양한 환경에서도 일관된 캐릭터를 유지할 수 있다.
사용자는 어떤 객체나 주제도 필요한 위치나 조건에 배치할 수 있다. 장편 서사 콘텐츠를 위한 장면을 제작하거나 제품 사진을 생성하는 경우에도 Gen-4는 환경 전반에 걸쳐 일관되게 생성하는 것을 간단하게 만든다. 장면을 만들기 위해 주제의 참조 이미지를 제공하고 촬영 구도를 설명하기만 하면 Gen-4가 나머지를 처리한다. 이를 통해 다양한 각도에서의 장면 생성이 가능하다.
Gen-4는 사실적인 움직임과 함께 고도로 역동적인 비디오를 생성하는 능력이 뛰어나며, 주제, 객체 및 스타일 일관성을 갖추고 있다. 또한 우수한 프롬프트 준수와 최고 수준의 세계 이해력을 제공한다. 또한 Gen-4는 실제 세계의 물리학을 시뮬레이션할 수 있는 시각적 생성 모델의 능력에 있어 중요한 이정표를 나타낸다. 이는 세계를 이해하는 범용 생성 모델을 향한 한 걸음이라고 할 수 있다.
GVFX(생성형 시각 효과)라는 새로운 종류의 시각 효과도 제공한다. 빠르고, 제어 가능하며 유연한 비디오 생성으로 실사, 애니메이션 및 VFX 콘텐츠와 원활하게 조화를 이룰 수 있다. 런웨이는 라이온스게이트(Lionsgate)와 파트너십을 맺고 2024 트라이베카 페스티벌(Tribeca Festival 2024)과의 프로그래밍 파트너십을 통해 영화 제작의 미래를 탐색하고 있으며, 미디어.몽크스(Media.Monks)와 협력하여 창의적 지평을 확장하고 있다.
Gen-4는 현재 런웨이 플랫폼에서 사용 가능하며, 관심 있는 사용자들은 런웨이 웹사이트를 통해 더 자세한 정보를 확인할 수 있다.
해당 기사의 원문은 링크에서 확인할 수 있다.
이미지 출처: 런웨이
기사는 클로드와 챗GPT를 활용해 작성되었습니다.
