구글 딥마인드와 픽사 출신 애니메이션 감독이 손잡고 만든 단편영화 ‘위층 이웃분들께(Dear Upstairs Neighbors)’가 26일(현지 시각) 선댄스 영화제에서 공개됐다. 이 영화는 생성형 AI 기술을 본격적으로 활용한 애니메이션 작품이라는 점에서 주목받고 있다.
구글 블로그에 따르면 이 영화는 시끄러운 위층 이웃 때문에 잠을 이루지 못하는 젊은 여성 아다의 이야기를 다룬다. 소음의 원인을 상상하는 동안 현실과 환상이 뒤섞이며 평화를 찾기 위한 전투가 벌어진다는 내용이다. 이 작품의 가장 큰 특징은 표현주의적 회화 스타일인데, 전통 애니메이션으로는 구현하기 매우 어려운 부분을 AI가 해결했다.
제작 방식은 기존 AI 활용과는 달랐다. 감독 코니 허(Connie He)가 시끄러운 이웃과의 개인 경험을 바탕으로 스토리를 구성하고, 수상 경력의 프로덕션 디자이너 잉종 신(Yingzhong Shin)이 캐릭터와 컨셉 아트를 완성했다. 제작진은 이 예술적 비전을 촬영 전 과정에서 충실히 지키면서 AI를 활용했다. 즉, AI가 창작을 주도한 것이 아니라 아티스트의 비전을 구현하는 도구로 사용됐다.
이를 위해 구글 연구진은 새로운 기술을 개발했다. 우선 맞춤형 베오(Veo)와 이미젠(Imagen) 모델을 만들어 아티스트들이 소수의 예시 이미지만으로 AI에게 원하는 시각 스타일을 가르칠 수 있게 했다. AI는 단순히 색상이나 질감뿐 아니라 2점 투시법 같은 깊이 있는 예술적 개념까지 학습했다.
두 번째로는 ‘비디오 간(video-to-video)’ 워크플로우를 개발했다. 텍스트 명령만으로는 캐릭터의 미묘한 표정 변화, 코믹한 타이밍, 정확한 카메라 구도 같은 세부 사항을 제어할 수 없었기 때문이다. 애니메이터들이 마야(Maya), TV페인트(TV Paint) 같은 익숙한 도구로 대략적인 애니메이션을 만들면, AI가 이 영상을 입력받아 감독이 원하는 최종 스타일로 변환했다. 각 아티스트는 자신이 가장 편한 도구로 작업할 수 있었고, AI가 이를 통일된 예술 스타일로 바꿔주는 방식이다.
제작진은 한 번의 클릭으로 완성된 장면을 얻은 것이 아니었다. 일반 영화 제작처럼 매일 리뷰를 진행하며 각 장면에 여러 차례 피드백을 반영했다. 처음부터 다시 만들지 않고도 특정 부분만 수정할 수 있는 편집 도구도 개발했다. 예를 들어 캐릭터의 머리카락 실루엣을 개선하기 위해 필요한 부위를 표시하면, AI가 그 부분에만 자연스럽게 머리카락을 추가하는 식이다.
최종적으로 영화를 대형 스크린에 상영하기 위해 베오의 업스케일링 기능으로 모든 장면을 4K 해상도로 높였다. 연구진은 아티스트의 피드백을 받아가며 해상도를 높이면서도 원래 예술 스타일의 뉘앙스를 모두 보존하도록 모델을 조정했다.
제작진은 “AI 모델이 웃긴 실수를 만들기도 했지만, 예상치 못한 아름답고 창의적인 해결책을 제시하기도 했다”고 말했다. 이들은 “아티스트들은 실험적 AI 연구에 직접 접근하며 새로운 창작 도구를 발견했고, 연구진은 예술적·기술적 장벽을 허무는 솔루션을 빠르게 개발하는 경험을 쌓았다”며 “전문 아티스트와 영화 제작자를 위한 생성형 AI를 계속 만들어가겠다”고 밝혔다.
이번 프로젝트에서 사용된 베오 4K 업스케일링 모델은 현재 플로우(Flow)에서 이용 가능하며, 이달 말 구글 AI 스튜디오와 버텍스 AI(Vertex AI)를 통해 일반 영화 제작자들에게도 공개될 예정이다.
해당 영화 제작 과정에 대한 자세한 사항은 구글 공식 블로그에서 확인 가능하다.
이미지 출처: 구글 딥마인드
