지구에서 인류의 절반이 사라지면 어떻게 될까? 영상에서 물체 하나를 지웠을 뿐인데, 넘어지지 않아야 할 도미노가 멈추고 사람이 사라지자 팽이가 혼자 계속 돌았다. 넷플릭스(Netflix) 연구팀이 2026년 4월 공개한 AI 프레임워크 보이드(VOID, Video Object and Interaction Deletion)는 영상에서 물체를 단순히 지우는 것을 넘어, 그 물체가 애초에 없었다면 세상이 어떻게 달라졌을지를 추론해 새로운 영상을 만들어낸다. 영상 편집의 개념 자체를 바꾸는 이 기술이 콘텐츠 제작 방식에 어떤 변화를 가져올지 주목된다.
물체를 지우면 그 영향도 함께 사라져야 한다
기존의 AI 영상 편집 도구들은 ‘물체를 지운 자리를 메우는 것’에 집중해왔다. 화면에서 물체가 있던 자리에 배경을 채워 넣고, 그림자나 반사광 같은 시각적 흔적을 지우는 것이 전부였다. 그런데 이 방식에는 근본적인 한계가 있다. 영상 속 물체들은 단순히 화면을 차지하는 것이 아니라, 서로 부딪히고 밀고 지탱하며 복잡한 물리적 관계를 맺고 있기 때문이다.
VOID 논문이 제시하는 예시는 이 문제를 직관적으로 보여준다. 도미노 패 여러 개가 늘어선 영상에서 중간 패들을 지우면 어떻게 될까. 기존 AI 편집 도구는 패를 지운 뒤에도 뒤쪽 패가 저절로 넘어지는 장면을 만들어낸다. 아무것도 건드리지 않았는데 도미노가 쓰러지는 셈이다. VOID는 이 상황에서 “중간 패들이 없었다면 뒤쪽 패는 그대로 서 있어야 한다”는 것을 이해하고, 뒤쪽 도미노가 멀쩡히 서 있는 영상을 만들어낸다. 손이 팽이들을 방해하는 영상에서 손을 지우면, VOID는 팽이들이 방해받지 않고 계속 도는 장면을 생성한다.
이것이 가능한 이유는 VOID가 물체 삭제를 단순한 이미지 복원 문제가 아니라 반사실적 추론(Counterfactual Reasoning) 문제로 접근하기 때문이다. 반사실적 추론이란 “만약 이것이 없었다면?”이라는 가정 하에 세계가 어떻게 달랐을지를 논리적으로 따져보는 사고 방식이다. VOID는 이 추론 능력을 AI 영상 생성에 접목한 첫 번째 실용적인 시도다.
사용자 64.8%가 선택한 이유, 압도적 격차
VOID의 성능은 실험 결과로 뒷받침된다. 연구팀은 25명의 참가자를 대상으로 인간 선호도 평가를 진행했다. 참가자들은 7개 모델이 만든 영상을 보고, 물체가 실제로 없었다면 가장 그럴듯하게 보이는 결과물을 선택했다. VOID는 64.8%의 선택을 받았다. 2위인 런웨이(Runway)의 18.4%, 3위 젠-옴니매트(Gen-Omnimatte)의 11.2%와 비교하면 압도적인 차이다. 전통적인 영상 복원 방식인 프로페인터(ProPainter)와 미니맥스-리무버(MiniMax-Remover)는 0%에 그쳤다. 쉽게 말하면, 복잡한 물리 상호작용이 있는 장면에서 기존 복원 도구들은 사실상 아무도 선택하지 않는 결과물을 만들어낸 셈이다.
VLM(Vision Language Model, 영상과 언어를 함께 이해하는 AI)을 심판으로 활용한 자동 평가에서도 VOID는 3개 VLM 심판 모두에서 1위를 차지했다. 젬마이나이(Gemini) 3 Pro, GPT-5.2, Qwen 3.5-32B가 각각 독립적으로 평가한 결과에서 공통으로 1위를 기록했다. 특히 “상호작용과 물리(Interaction & Physics)” 항목에서 다른 모델과의 격차가 가장 컸다. 이는 VOID가 정확히 설계된 목표, 즉 물리적 인과관계 이해에서 뛰어난 성과를 낸다는 것을 의미한다.
합성 데이터 벤치마크에서도 VOID는 영상 품질을 측정하는 FVD 지표에서 260.31을 기록해 2위인 젠-옴니매트(437.88)를 크게 앞섰다. 숫자가 낮을수록 좋은 이 지표에서의 격차는, VOID가 만드는 영상이 실제 물리 세계와 훨씬 가깝다는 것을 보여준다. 일상으로 환산하면, 10초짜리 영상 편집 결과물을 봤을 때 VOID는 전문가도 자연스럽다고 느끼는 수준의 물리적 흐름을 만들어낸다는 뜻이다.
AI가 물리 법칙을 읽는 방법, 쿼드마스크와 2단계 생성
VOID가 물리적 상호작용을 이해하는 핵심에는 ‘쿼드마스크(Quadmask)’라는 기술이 있다. 쿼드마스크란 영상의 각 프레임을 네 가지 영역으로 나눠 표시하는 방법이다. 지워야 할 물체가 있는 검은 영역, 그 물체의 영향을 받아 변해야 할 밝은 회색 영역, 물체와 영향 영역이 겹치는 어두운 회색 영역, 그리고 그대로 유지해야 할 흰색 배경이다. 마치 건물 철거 계획서에서 “이 기둥을 뽑으면 저 벽이 흔들리고, 그 벽에 기대어 있는 선반도 재배치해야 한다”고 표시하듯, AI에게 변해야 할 영역과 유지해야 할 영역을 정확하게 알려주는 역할을 한다.
이 쿼드마스크는 VLM이 자동으로 생성한다. 사용자가 영상에서 지우고 싶은 물체를 클릭하면, VLM이 그 물체가 영향을 미치는 다른 물체들을 파악하고, 각 프레임에서 어느 영역이 달라져야 하는지 계산해 쿼드마스크를 만든다. 예를 들어 아이를 지운다면 아이가 잡고 있던 공이 이제 중력에 따라 떨어져야 한다는 것을 VLM이 파악하고, 공이 있는 영역을 ‘변경 필요 영역’으로 지정한다.
실제 영상 생성은 2단계로 이루어진다. 1단계에서는 VOID가 물체가 없는 상황에서 영상이 어떻게 전개될지 전반적인 궤적을 생성한다. 이 단계에서 움직임 방향은 대체로 맞지만, AI가 새로운 움직임을 만들다 보면 물체가 늘어나거나 구겨지는 시각적 왜곡이 생길 수 있다. 기타가 떨어지는 장면을 예로 들면, 1단계는 올바른 낙하 궤적을 만들지만 기타가 고무줄처럼 늘어나 보이는 문제가 발생한다. 2단계는 1단계에서 추출한 움직임 정보를 활용해 이 왜곡을 교정하고, 기타가 원래 형태를 유지하며 자연스럽게 떨어지도록 만든다.
훈련 데이터에 없던 장면도 풀어낸 일반화 능력
VOID의 또 다른 주목할 점은 학습하지 않은 상황에서도 올바른 추론을 해낸다는 것이다. 연구팀은 VOID를 두 가지 데이터셋으로 훈련했다. 물리 엔진 쿠브릭(Kubric)으로 만든 약 1,900쌍의 충돌·낙하 영상과, 인간 동작 데이터셋 HUMOTO로 만든 약 4,500쌍의 영상이다. 두 데이터셋 모두 풍선, 블렌더, 개 같은 소재는 포함하지 않았다.
그럼에도 VOID는 풍선을 든 곰 캐릭터를 지웠을 때 풍선이 위로 떠오르는 장면을 정확히 만들어냈다. 아이들이 블렌더를 켜려다 사라지면 아무도 버튼을 누르지 않았으니 블렌더가 작동하지 않는다는 것도 이해했다. 개가 물고 있던 막대기를 치우자 막대기가 바닥에 떨어지는 장면도 올바르게 생성했다. 볼링 공과 볼링 핀을 함께 지우자 남은 핀들이 그대로 서 있는 결과를 만들었다. 심지어 빅벤(Big Ben) 건물을 지우자 강물에 비치던 빛의 반사까지 함께 사라지는 장면도 자연스럽게 처리했다.
이것은 VOID가 단순히 훈련 데이터를 암기하는 것이 아니라, VLM에 내재된 물리 세계에 대한 이해를 영상 생성에 실제로 활용하고 있다는 증거다. 연구팀은 이를 두고 “VOID는 훈련 데이터로부터 단순한 시각적 단서를 암기하는 것이 아니라, VLM의 상식적 추론 능력을 영상 편집에 활용한다”고 설명한다.
영상 편집 민주화의 새로운 기준
VOID가 제시하는 미래는 전문 영상 편집자만의 영역이 일반인에게도 열리는 세계다. 영화나 광고에서 특정 물체를 없앤 ‘가상의 시나리오’를 만드는 일은 지금까지 수작업으로 프레임 하나씩 수정해야 하는 고난도 작업이었다. VOID는 이 과정을 클릭 몇 번으로 단순화할 가능성을 보여준다.
현재 버전에는 한계도 있다. 카메라가 물체에 너무 가까이 붙어 있거나 특이한 각도에서 촬영한 영상에서는 성능이 제한된다. 생성 영상의 길이도 몇 초 수준이어서 긴 영상 편집에는 아직 적합하지 않다. 연구팀은 이를 인정하면서도, 더 강력한 생성 모델이 등장할수록 VOID의 인과 추론 방식이 더 높은 잠재력을 발휘할 것이라고 강조한다.
넷플릭스처럼 방대한 영상 콘텐츠를 다루는 기업에서 이 기술이 나온 것은 우연이 아닐 가능성이 있다. 영상에서 물체를 지우고 물리적 연쇄 효과를 다시 쓰는 능력은, 콘텐츠 제작 도구의 진화인 동시에 AI가 세계를 얼마나 잘 이해하는지를 측정하는 기준이 될 수 있다. VOID의 방식이 더 넓은 AI 영상 생성 분야에서 표준으로 자리 잡을지는 두고 볼 필요가 있다.
FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)
Q. VOID는 어떤 영상에서 사용할 수 있나요?
VOID는 사람, 물체, 동물 등이 등장하는 다양한 실사 및 합성 영상에서 특정 물체를 제거하는 데 사용할 수 있습니다. 현재는 물체를 직접 클릭해 지정하는 방식으로 작동하며, 짧은 영상 클립에서 가장 효과적입니다. 카메라가 물체에 너무 가깝거나 특이한 각도로 촬영된 경우에는 성능이 제한될 수 있습니다.
Q. 기존 영상 편집 도구와 VOID는 무엇이 다른가요?
기존 AI 영상 편집 도구는 물체를 지운 자리를 배경으로 채우는 ‘복원’ 방식으로 작동합니다. VOID는 여기서 더 나아가 지워진 물체가 다른 물체에 미쳤던 물리적 영향까지 함께 제거합니다. 예를 들어 공을 잡고 있던 사람을 지우면 공이 중력에 의해 떨어지는 장면을, 길을 막고 있던 물체를 지우면 다른 물체가 자유롭게 이동하는 장면을 자동으로 생성합니다.
Q. VOID를 일반인도 사용할 수 있나요?
현재 VOID는 연구용 프레임워크로 공개되어 있으며, 일반 사용자가 바로 쓸 수 있는 서비스 형태는 아직 제공되지 않습니다. 논문 페이지(void-model.github.io)에서 데모와 영상 예시를 확인할 수 있습니다. 상용 영상 편집 도구에 이 기술이 적용되기까지는 추가적인 연구와 개발이 필요할 것으로 보입니다.
기사에 인용된 리포트 원문은 arXiv에서 확인할 수 있다.
리포트명: VOID: Video Object and Interaction Deletion
이미지 출처: AI 생성 콘텐츠
해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.
