사이버펑크 2077 데이터로 훈련한 AI, 현실 영상 분석에서 기존 모델을 앞서다

게임은 현실이 아니다. 그런데 게임 데이터로 훈련한 AI가 현실 세계 영상을 더 잘 이해한다면? 2026년 4월, 알라야 스튜디오(Alaya Studio)와 샨다 AI 연구소(Shanda AI Research Tokyo) 연구팀이 arXiv에 공개한 ‘생성형 월드 렌더러(Generative World Renderer)’ 논문이 이 역설적 가설을 데이터로 증명했다. 연구팀은 AAA 게임에서 400만 프레임 규모의 고품질 영상 데이터셋을 구축하고, 이를 기반으로 현실 영상의 재질 분해와 장면 편집 성능을 획기적으로 끌어올렸다.

G버퍼가 부족해 막혔던 역방향 렌더링 연구

역방향 렌더링(Inverse Rendering)이란 카메라로 촬영한 영상을 입력받아 각 픽셀의 재질 정보—알베도(albedo, 표면 고유색), 깊이(depth), 법선(normal, 표면 방향), 금속성(metallic), 거칠기(roughness)—를 역으로 추론하는 기술이다. 이 기술이 완성되면 영상 속 물체의 조명을 교체하거나, 날씨 효과를 삽입하거나, 재질을 자유롭게 바꾸는 것이 가능해진다.

문제는 훈련 데이터에 있었다. 현실 세계에서는 이러한 물리 정보를 담은 ‘G버퍼(G-buffer)’를 카메라로 직접 획득할 수 없다. G버퍼란 3D 장면을 렌더링하는 과정에서 자동으로 생성되는 기하학적·재질적 데이터의 묶음으로, 최종 화면 출력 전 단계에만 존재하는 중간 정보다. 기존 연구들은 단순한 합성 데이터셋이나 짧은 영상 클립에 의존했고, 그 결과 안개·비·빛 반사처럼 복잡한 시각 효과나 긴 시간 동안의 장면 변화를 제대로 학습하지 못하는 한계가 지속되어 왔다.

사이버펑크 2077과 검은신화: 오공에서 400만 프레임 추출

알라야 스튜디오 연구팀이 발표한 생성형 월드 렌더러 데이터셋은 AAA 게임 엔진에서 G버퍼를 직접 추출해 이 문제를 해결했다. 게임은 렌더링 과정에서 G버퍼를 자연스럽게 생성하기 때문이다. 연구팀은 그래픽스 API를 가로채는 리셰이드(ReShade) 프레임워크를 활용해 게임 실행 중 G버퍼 데이터를 실시간으로 수집했다.

수집 대상은 사이버펑크 2077(Cyberpunk 2077)과 검은신화: 오공(Black Myth: Wukong), 두 게임이다. 두 대의 2K 모니터를 연결한 듀얼 스크린 캡처 방식으로 720p 해상도를 확보했으며, OBS(Open Broadcaster Software)를 통해 거의 손실 없는 비트레이트로 녹화했다.

그 결과 완성된 데이터셋은 720p/30fps 기준 400만 프레임, 5개 G버퍼 채널(깊이·법선·알베도·금속성·거칠기)로 구성된 대규모 연속 영상 데이터다. 총 40시간 분량의 실제 게임 플레이가 담겼으며, 맑음·비·안개·눈 등 다양한 날씨와 실내외 환경을 모두 포함한다. 사이버펑크 2077이 금속 재질이 풍부한 도시 환경을 제공했다면, 검은신화: 오공은 거칠고 다양한 자연 지형을 담당했다. 두 게임의 이질적인 시각 특성이 데이터의 다양성을 높이는 역할을 했다.

금속성 85%·거칠기 75%, 전문가 사용자 연구로 검증된 우위

연구팀은 이 데이터셋으로 기존 역방향 렌더링 모델인 디퓨전렌더러(DiffusionRenderer)를 미세 조정(fine-tuning)했다. 검증 결과는 명확했다. CG 전문가 25명을 대상으로 한 사용자 연구에서, VLM이 연구팀 모델을 선호한 사례에 대해 전문가들도 금속성 85%, 거칠기 75%의 비율로 같은 판단을 내렸다. 이는 연구팀이 새롭게 도입한 VLM 기반 자동 평가 프로토콜이 사람의 전문적 판단과 높은 수준으로 일치함을 보여주는 수치다.

정성 평가에서도 연구팀 모델은 금속성과 거칠기 예측에서 기존 디퓨전렌더러보다 우수한 결과를 보였다. 금속성 예측이 틀리면 크롬 재질의 자동차가 플라스틱처럼 보이고, 거칠기 예측이 어긋나면 피부나 나무 질감이 부자연스럽게 렌더링된다.

정량 지표에서도 검은신화: 오공 테스트셋 기준으로 깊이·법선·알베도·금속성·거칠기 전 항목에서 기존 최고 성능 모델을 상회했다. 특히 실내외 조명 아티팩트를 제거하고, 안개나 연기처럼 부피감 있는 대기 효과(volumetric scattering)가 포함된 장면에서도 안정적인 재질 예측을 보였다.

나아가 온라인에서 수집한 실제 영상 40개를 추가 테스트한 결과, 훈련 데이터에 포함되지 않은 게임 환경에서의 교차 검증에서도 높은 일관성을 유지하며 현실 세계 일반화 능력을 입증했다. 또한 연구팀은 현실 세계 평가를 위해 젬이나이 3 프로(Gemini 3 Pro)를 판별 모델로 활용한 VLM(시각언어모델) 기반 평가 프로토콜을 새롭게 제안했으며, 이 자동 평가 결과가 전문가 인간 판단과 강한 상관관계를 보임을 확인했다.

텍스트 한 줄로 게임 장면에 눈·안개·사이버펑크 야경 삽입

역방향 렌더링으로 추출한 G버퍼는 순방향 렌더링(Forward Rendering)에도 활용됐다. 순방향 렌더링이란 G버퍼의 재질 정보를 바탕으로 새로운 시각 스타일의 영상을 합성하는 기술이다.

연구팀은 영상 생성 모델인 Wan 2.1-T2V에 G버퍼를 조건 입력으로 통합해, 게임 장면의 시각 스타일을 텍스트 프롬프트만으로 수정하는 게임 편집 기능을 구현했다.

기존의 엣지 맵 기반 컨트롤넷(ControlNet) 방식이나 SDEdit 방식과 달리, G버퍼를 활용하면 장면의 기하학적 구조와 재질 정보를 정확히 보존하면서도 날씨(눈·비), 조명(사이버펑크 야경), 대기 효과(수중·연기)를 자유롭게 삽입할 수 있다. 예를 들어 검은신화: 오공의 산악 장면에 “눈 내리는 날씨”를 텍스트로 입력하면, 배경과 캐릭터의 재질 일관성을 유지한 채 설경으로 자연스럽게 전환된다.

게임 엔진이 기본적으로 지원하지 않는 연기나 비와 같은 부피감 있는 대기 효과도 G버퍼 덕분에 사실감 있게 구현됐다.

게임 데이터가 AI 연구의 새 공급원이 될 수 있을까

이 연구의 핵심 의의는 기술 성능 향상 그 자체보다, 데이터 수집 패러다임의 전환 가능성에 있다. 현실 세계에서 G버퍼 수준의 물리 정보를 획득하려면 라이다(LiDAR) 스캐너나 고가의 측정 장비가 필요하다. 반면 게임 엔진은 이미 이 정보를 내부적으로 계산하고 있으며, 연구팀은 이를 소프트웨어 방식으로 추출하는 비침습적(non-intrusive) 파이프라인을 제시했다.

물론 게임 데이터와 현실 세계 사이의 간극이 완전히 해소됐다고 보기는 이르다. 논문이 제시한 현실 영상 테스트 케이스는 40개로 제한적이며, 의료·제조업 등 정밀 재질 분석이 필요한 산업 현장에서의 성능은 별도 검증이 필요하다. 그럼에도 이 접근이 확장될 경우, 출시되는 게임 타이틀의 수가 늘어날수록 훈련 데이터의 다양성도 함께 확장될 수 있다는 점에서 주목할 만한 방향성을 제시한다.

FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q. G버퍼(G-buffer)란 무엇인가요?

G버퍼는 3D 장면을 렌더링할 때 중간 과정에서 생성되는 데이터 묶음입니다. 표면의 깊이, 방향(법선), 고유색(알베도), 금속성, 거칠기 등 물리적 재질 정보를 픽셀 단위로 담고 있으며, 게임 엔진은 최종 화면 출력 전 이 데이터를 반드시 계산합니다. 이 정보가 있어야 AI가 영상을 물리적으로 정확하게 분해하거나 재합성할 수 있습니다.

Q. 역방향 렌더링 기술이 실생활에서 어떻게 활용되나요?

역방향 렌더링 기술이 성숙하면 영화·광고 영상에서 후반 작업으로 조명을 교체하거나 제품 소재를 가상으로 변경하는 것이 훨씬 쉬워집니다. 또한 자율주행 차량의 시뮬레이션 환경을 현실에 더 가깝게 구성하거나, 건축·인테리어 분야에서 재질 시뮬레이션 비용을 줄이는 데도 활용될 수 있습니다.

Q. 이 데이터셋과 코드는 공개되어 있나요?

연구팀은 프로젝트 페이지와 깃허브를 통해 데이터셋과 코드를 공개하고 있습니다. 다만 상업용 게임 엔진에서 추출된 데이터인 만큼, 실제 연구나 활용 시 관련 라이선스 조건을 별도로 확인하는 것이 필요합니다.

기사에 인용된 리포트 원문은 arXiv에서 확인할 수 있다.
리포트명: Generative World Renderer
이미지 출처: AI 생성 콘텐츠
해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.