2억 달러를 조달한 VAST, 상호작용형 콘텐츠 생태계의 기반이 되고자 한다

최근, 일반 인공지능(AGI) 기업 VAST가 A+ 및 A++ 두 차례의 자금 조달을 완료했으며, 총액은 약 2억 달러에 달한다.이번 투자 라운드는 쉐차이 캐피털(渶策资本)과 중국생명 양쯔강 삼각주 과학기술 혁신 펀드가 주도했으며, 선전시 인공지능 단말 산업 펀드, 상하이 반도체 산업 투자, 선창투(深创投), 위안생 캐피털(元生资本) 등 산업 및 금융 자본이 참여했다.

이번 자금 조달과 함께 공개된 것은, 그들이 처음으로 대외에 밝힌 세계 모델 프로젝트인 ‘Project Eden(코드명: 에덴)’이다.

이번 자금 조달과 신규 프로젝트 데모 공개로, 이미 활기 넘치던 월드 모델링 분야에 꽤 흥미로운 변수가 하나 더 추가되었다.

지난 1년 동안 AI의 발전 속도는 숨이 턱턱 막힐 정도로 빨랐습니다.얼마 전, 한 게임 회사 대표가 제게 이렇게 말했습니다. “업계가 현재 AI 발전에 반응하는 모습은 마치 지진 경보를 받은 것과 비슷해요. 경보가 울리면 어쩔 수 없이 아래층으로 내려가서 한 번 확인해야 하잖아요. 대부분은 허탕이지만, 가만히 있을 수는 없죠. 언젠가는 정말로 상황이 뒤바뀔지도 모르니까요.”

세계 모델이 주는 인상은 특히 그러하다. 올해 초 구글 딥마인드(DeepMind)가 ‘지니 3(Genie 3)’를 출시하자 자본 시장의 분위기가 순식간에 달아올랐고, 유니티(Unity)는 2022년 이후 최악의 일일 하락폭을 기록했으며, 테이크투(Take-Two), 로블록스(Roblox) 등 게임주도 일제히 폭락했다.하지만 업계는 곧 이를 AI에 대한 과대포장으로 인한 과잉 반응에 가깝다는 사실을 깨달았으며, 유니티의 매튜 브롬버그(Matthew Bromberg) CEO는 이러한 세계 모델의 출력이 확률적이며 비확정적이라는 더 근본적인 한계를 지적했다.

게임 산업의 관점에서 볼 때, Genie 3의 기술적 접근 방식에는 일종의 본질적인 결함이 있다. 이 기술은 직관적으로 볼 때 매우 사실적인 영상을 생성할 수는 있지만, 실제로 플레이할 수 있고 반복적으로 진입할 수 있으며 심지어 여러 명이 함께 접속해 즐길 수 있는 게임 세계를 구축하기에는 역부족이다.

이에 비해, 오늘 VAST가 자사의 첫 번째 월드 모델 프로젝트인 ‘Project Eden’을 선보인 것은 제게 꽤 인상 깊었습니다.월드 모델 이전에 VAST가 가장 잘 알려진 것은 ‘만물을 창조하는’ 일을 하는 Tripo 시리즈 AI 3D 생성 모델이었습니다. VAST의 설명에 따르면, 만물을 창조하는 것에서 세계를 창조하는 것으로 나아가는 것은 자연스러운 다음 단계입니다.

“AI 3D 자산과 월드 모델은 애초부터 두 축으로 움직이는 것입니다.” VAST의 수석 과학자 차오옌페이는 첫날부터 그들의 목표가 차세대 상호작용형 UGC 콘텐츠 플랫폼을 구축하는 것이었다고 말했습니다. AI 3D는 ‘만물을 창조하는’ 과정의 속도와 진입 장벽을 낮추는 역할을 하는 반면, 월드 모델은 ‘세상을 창조하는’ 과정의 체계적인 추론을 해결하기 위한 것이며,“이는 기술 진화의 연장선이자, 자연스러운 다음 단계입니다.”

대다수의 사람들이 구글 Genie와 같은 ‘동작 기반 영상 생성’과 World Labs Marble과 같은 ‘정적 3D 장면 생성’ 중 하나를 선택해야 하는 상황에서, Project Eden은 ‘세계 상태의 진화’와 ‘화면의 시각적 표현’을 아키텍처 수준에서 근본적으로 분리하는 제3의 길을 택했다.

이 독특한 아키텍처는 기존 다른 세계 모델들이 극복하지 못했던 세 가지 난관, 즉 환경의 장기적 지속성, 장면의 자유로운 재사용, 그리고 다중 사용자의 동시 상호작용을 자연스럽게 해결해 냈다.

01

과대평가된 두 가지 접근 방식과 VAST의 독창적인 해결책

VAST를 제대로 이해하기 위해서는, 먼저 기존의 세계 모델이 게임 업계에서 왜 실제로 활용되기 어려웠는지 살펴봐야 합니다.

생성형 AI 분야의 저명한 과학자인 황쉰은 ‘영상 생성’과 ‘진정한 세계 모델’을 구분하는 다섯 가지 속성을 제시한 바 있다.진정한 세계 모델은 인과성과 상호작용을 충족하는 것을 바탕으로, 가능한 한 더 나은 지속성, 실시간성 및 물리적 정확성을 달성해야 한다. 이 기준을 적용해 보면, 현재 게임 업계에서 큰 주목을 받고 있는 두 가지 주류 접근 방식이 모두 상업용 게임의 엄격한 기준을 충족하는 데 있어 각기 극복하기 어려운 한계에 직면해 있음을 알 수 있다.

첫 번째는 발전 속도가 가장 빠르고 가장 주목받는 ‘영상 생성 계열’로, Genie가 대표적이다. 이 방식은 본질적으로 2D 픽셀의 자기회귀 예측을 수행하는 것으로, 기존 화면을 보고 다음 프레임의 각 픽셀이 어떻게 보일지 추측하는 것이다.차오옌페이는 이러한 엔드투엔드 영상 생성을 세계 모델과 동일시하는 것은 오해라고 단언했다. “엔드투엔드 영상 모델의 모든 상태는 현재 시점과 강하게 결부되어 있다. 카메라 렌즈가 벽 모퉁이를 벗어나기만 해도 모델은 맥락만을 바탕으로 상황을 재구성할 수밖에 없으며, 게임에 필요한 ‘장기적 지속성’을 제공할 수 없다.”

영상 생성 모델은 규모가 완전히 다른 두 가지 작업을 억지로 하나로 묶어 놓았습니다. 하나는 앞으로 세상에 무슨 일이 일어날지 예측하는 것으로, 이 정보는 사실 비교적 ‘가벼운’ 편입니다. 다른 하나는 모든 픽셀을 정밀하게 그려내는 것으로, 이 정보는 지극히 ‘무거운’ 편입니다.이러한 ‘가벼움’과 ‘무거움’을 구분하지 못하는 근본적인 논리 때문에, 실제 적용 시 이 기술은 마치 대본 없는 만화가처럼 그리는 동시에 즉석에서 줄거리를 만들어내야 하는 상황에 처하게 됩니다. 이는 화면의 시점이 전환될 때 화면이 쉽게 어긋나거나 왜곡되는 현상을 초래할 뿐만 아니라, 다중 사용자 온라인 상호작용을 구현하는 것도 극히 어렵게 만듭니다.

두 번째 유형은 World Labs의 Marble이 대표하는 ‘정적 재구성파’입니다. 이 파가 주창하는 ‘공간 지능’은 공간 기하학의 안정성을 정확히 짚어내어, 탐색 가능한 3차원 공간을 고속으로 재구성할 수 있습니다. 하지만 현재로서는 공간만 존재하고 시간이 없다는 점이 한계입니다.시간 축을 따라 상태를 시뮬레이션하는 능력이 부족하여, 생성된 환경은 마치 굳어진 듯한 느낌을 준다. 황쉰의 기준에 비추어 볼 때, 이러한 방식은 ‘상호작용성’ 측면에서 치명적인 결함을 가지고 있으며, 오히려 정교하게 제작된 3D 표본과 비슷해, 아름답기는 하지만 진화할 수 없다.

영상 생성 방식에는 ‘대본’이, 정적 재구성 방식에는 ‘변화 과정’이 부족하다면, Project Eden의 해결책은 대본과 그림 그리기 작업을 분리하여 수행하는 것(해결)입니다. 이를 통해 Project Eden은 현재 업계 최초로 세계 상태를 자율적으로 유지 관리하고, 결정론적 제어를 가할 수 있는 세계 모델이 되었습니다.

02

상태와 화면을 분리하기: AI로 엔진 하나 만들기

VAST가 제시한 기술 패러다임은 한마디로 요약하면, “상태 유지 및 예측”과 “화면 렌더링 및 표현”을 아키텍처적으로 분리하여 처리하는 것입니다.

이 말은 처음 들으면 이해하기 어렵습니다. 하지만 게임 개발자들에게는 이 사고방식이 사실 매우 익숙합니다. 게임 엔진의 작동 방식과 매우 비슷하기 때문입니다.엔진 메모리에는 모든 오브젝트의 위치, 속성, 상태를 기록한 ‘월드 데이터베이스’가 관리되고 있으며, 카메라가 이동하면 렌더링 파이프라인이 시점에 따라 시야 내의 장면을 실시간으로 화면에 그려냅니다. 상태는 상태대로, 화면은 화면대로, 이 두 가지는 분리되어 있습니다.

VAST가 하고자 하는 것은 바로 AI를 활용해 신경망 내에서 이러한 엔진을 구축하는 것입니다. 이는 매우 해결하기 어려운 과제입니다. 신경망 내에서 상태를 어떻게 표현할지, 어떤 네트워크 아키텍처를 사용할지, 방대한 양의 데이터를 어떻게 확보하고 확장할지 등, 차오옌페이의 관점에서 볼 때 이는 사실 엄청난 장벽입니다.

이러한 격차를 해소하기 위해 Project Eden은 분리형 3계층 기술 아키텍처를 혁신적으로 도입했습니다.

그 기반에는 구조화된 상태 계층이 있으며, 시나리오의 기하학적 구조, 객체 속성 및 이벤트 논리를 통합적으로 관리하고, 객관적 상태의 추론을 전적으로 담당합니다.

중간의 조건 인터페이스 계층은 상태와 렌더링 간의 변환 허브 역할을 하며, 다양한 시점에 따라 3D 상태를 제약 조건으로 변환함으로써, 샷 간 물리적 일관성을 근본적으로 보장합니다.

가장 상층은 생성형 렌더링 계층으로, 하층의 객관적 상태와 중간 계층의 제약 조건을 바탕으로 필요에 따라 정교한 시각적 화면을 실시간으로 렌더링하여 동적인 디테일을 보완합니다.

차오옌페이는 데모에 등장하는 ‘소방관의 화재 진압’ 장면을 통해 Project Eden의 작동 원리를 보여주었습니다. 사용자가 주방, 소방관, 화재의 초기 조건을 프롬프트로 설명하면, 이 설명은 바로 하위 계층의 암시적 상태로 변환됩니다.플레이어가 소방관을 조종해 이동시키고 소화 버튼을 누르면, 얼마나 많은 소화 가루가 분사되었는지, 불이 꺼졌는지 여부와 같은 모든 판정은 하위 상태 계층에서 시뮬레이션됩니다. 비록 그 순간 화면에 한 프레임도 그려지지 않았더라도, 이 세계는 내부적으로 이미 어떤 물리 법칙에 따라 ‘실제로’ 작동하고 있는 것입니다.

그리고 그 위에 위치한 렌더링 레이어는 마치 언제든 대기 중인 사실주의 화가와 같아서, 현재 하위 레이어의 상태와 플레이어가 선택한 임의의 시점을 바탕으로 해당 프레임을 렌더링해 낼 뿐입니다.전통적인 그래픽스에서는 표현하기 매우 어려웠던 기체의 확산이나 벽을 핥아 올라가는 불꽃과 같은 유체 운동도, 이 아키텍처에서는 오히려 렌더링 레이어가 매우 자연스럽게 시뮬레이션해 낼 수 있다.

상태와 화면을 분리하는 이러한 디커플링 설계는 기술적으로 더 우아할 뿐만 아니라, 게임 개발자들이 가장 골치 아파하는 몇 가지 핵심 문제점들을 자연스럽게 해결해 줍니다.

첫 번째는 ‘일관성’의 회복입니다. 세계 상태는 관점과 무관하게 유지되기 때문에, 몸을 돌려 잠시 자리를 비웠다가 다시 돌아와도 그 나무는 여전히 데이터베이스에 온전히 남아 있어 다시 렌더링되기를 기다리고 있습니다.영상 생성 방식에서 흔히 나타나는, 몸을 돌리는 순간 물체가 어긋나거나 장면이 왜곡되는 오래된 문제가 여기서는 근본적으로 해결되었습니다.

다음으로, 씬에 “반복적으로 활용될 수 있는” 생명력을 부여했습니다. 세계 상태가 독립적으로 존재하며 읽기·쓰기가 가능하기 때문에, 플레이어가 씬에서 행한 행동은 그대로 기록됩니다.한 플레이어가 테이블을 부숴버리면, 이 변경 사항은 실시간으로 기본 상태에 반영되며, 이후 다른 플레이어가 같은 씬에 들어왔을 때, 다시 상상된 것처럼 온전한 방이 아니라 파손된 상태를 보게 됩니다.

이러한 논리에 따라, 다중 플레이어 상호작용의 난제도 쉽게 해결됩니다. 기본 구조에 시점과 무관한 통일된 세계 상태가 존재하기 때문에, 여러 플레이어가 이 상태를 공유한 뒤 각자 자신의 시점을 렌더링할 수 있습니다.플레이어 간, 그리고 플레이어와 NPC 간에 비로소 진정한 실시간 상호작용이 가능해집니다. 이는 오늘날 다중 플레이어 게임의 ‘서버-클라이언트’ 아키텍처와 이치상 같은 원리입니다.

또한, 이러한 모델은 연산 비용의 급격한 감소라는 막대한 상업적 이점을 가져다줍니다.분리 아키텍처 하에서 렌더링 계층은 상당한 연산 능력을 소모하는 반면, 하위 계층의 상태 시뮬레이션은 매우 경량적인 고차원 계산입니다. 이는 영상 생성 방식에서 “각 시점과 각 온라인 사용자에 대해 픽셀 단위로 화면을 개별적으로 생성해야 하므로, 사용자 수에 따라 연산 비용이 기하급수적으로 급증한다”는 잠재적 우려를 직접적으로 해결해 줍니다.

물론, 이 아키텍처는 현재 여전히 비교적 초기 단계에 있습니다. 하지만 Project Eden의 데모를 통해, 이 아키텍처가 장시간 일관된 환경 이동, 다중 플레이어 실시간 상호작용, 그리고 몇 가지 결정론적 메커니즘 판정 등 어려운 과제들을 하나씩 해결해 나가려는 모습을 엿볼 수 있습니다.

03

임계점이 도래하기 전, 게임 개발 분야에서 어떤 역할을 할 수 있을까?

이 대목을 읽다 보면 저도 모르게 헉 하고 숨을 삼키게 됩니다. 이 기술이 정말로 성숙해지면, 게임을 만들 때 엔진이 더 이상 필요 없게 되는 건 아닐까요?

차오옌페이는 나에게, 월드 모델이 게임 엔진을 진정으로 대체하는 것은 매우 오랜 시간이 걸리고 수많은 어려움이 따르는 목표라고 말했다. 월드 모델이 상태 전환을 시뮬레이션하는 데 있어 계산 효율성, 안정성, 제어 가능성이 실시간 응답의 임계치를 완전히 넘어설 때만, 이러한 급격한 변화가 일어날 것이라고 했다.

지금으로서는 언제 상황이 바뀔지 논쟁하기보다는, 전환점이 도래하기 전에 이 기술이 게임 개발 프로세스에 어떻게 접목될 수 있을지 살펴보는 편이 낫다.

현재 초기 단계에서는 이 분리된 아키텍처를 분해하여, 기존 게임 파이프라인에 부분적으로 통합할 수 있습니다. 예를 들어, 백엔드의 렌더링 모델은 ‘생성형 렌더링’ 방향으로 활용할 수 있습니다.만약 여러분이 기획자이고, 미술이나 프로그래밍 능력이 뛰어나지 않다면, 우선 매우 간단한 블록아웃(Blockout, 회색 모델)을 사용하여 공간과 레벨 구조를 구성하고 게임플레이를 검증할 수 있습니다. 그런 다음, 렌더링 모델을 통해 이 칙칙한 회색 모델을 원하는 어떤 화풍으로든 렌더링할 수 있습니다.

조명, 정교한 에셋 제작, 심지어 복잡한 물리 현상의 표현까지 모두 모델링 단계에서 나중에 보완하도록 맡겨두었다.

중소 규모의 팀에게 있어 이는 막대한 아트 제작 비용을 단 한 번의 모델 호출로 줄이는 것과 다름없습니다. 아트 스타일은 프로젝트 착수 전부터 고정되어야만 했던 비용상의 엄격한 제약에서, 출시 전까지 클릭 한 번으로 전환할 수 있는 ‘스위치’로 바뀌게 됩니다.

이와 동시에, 프론트엔드의 상태 예측 모델은 별도로 분리하여 “지능형 상태 기계”로 활용할 수 있으며, 이를 통해 개발자가 스크립트를 작성하거나 상태 기계를 구현하는 데 드는 반복적인 작업을 크게 줄일 수 있습니다.예를 들어, 문을 발로 차면 몇 도나 회전할지, 얼마나 빨리 회전할지, 반동으로 다시 튀어 올라 사람을 칠지 여부와 같은 사항들은 프로그래머가 한 줄 한 줄 코드를 작성해 규정할 필요 없이, 애니메이션이나 상태 기계가 모델의 추론을 통해 직접 출력할 수 있습니다.

기술이 성숙해짐에 따라, 다음 단계는 월드 모델이 “동적이며 개방된 장면”을 부분적으로 담당하도록 하는 것입니다. 이 단계에서 게임의 주된 흐름은 여전히 기존 코드에 의해 구동되지만, 특히 개방적이고 복잡하면서도 높은 확정성이 그다지 필요하지 않은 동적 장면에서는 월드 모델을 호출하여 오프라인 또는 소규모 시뮬레이션을 수행할 수 있습니다.

예를 들어, 무작위 폭풍이 씬에 초래하는 파괴나, 수많은 NPC 간의 자발적인 상호작용 등이 있습니다. 결정성이 높은 부분은 기존 코드에 맡기고, 개방적이고 무작위적이며 모든 경우를 열거하기 어려운 동적인 부분은 모델에 맡기는 것이 현재로서는 가장 적절한 접근 방식입니다.

그리고 임계점을 넘어선 후에야 비로소 하드코딩을 완전히 대체하는 결말이 찾아올 것이다.

“우리는 하드코딩이 필요한 논리와 물리적 정의를, 더 범용적이고 진입 장벽이 낮은 신경망으로 대체하고자 합니다.”차오옌페이는 이상적인 상황에서는 앞으로 코드를 통해 일일이 지정해야 하는 모든 번거로운 논리가 대규모 모델을 기반으로 한 데이터 주도적 추론으로 바뀌게 될 것이며, 개발의 진입 장벽과 효율성이 질적으로 도약할 것이라고 말했다.

하지만 월드 모델과 기존 엔진의 관계가 반드시 서로를 완전히 대체하는 식의 제로섬 게임은 아닐 수도 있다. 에픽(Epic)의 창립자 팀 스위니(Tim Sweeney)가 한때 제시한 통찰력 있는 판단처럼, 앞으로 우리는 “엔진 중심의 AI”와 “월드 모델 중심의 AI”가 끊임없이 서로를 따라잡고 융합해 나가다가, 언젠가는 둘이 하나로 결합되는 모습을 보게 될 것이다.

VAST가 현재 하고 있는 일은 바로 “세계 모델을 중심으로 하는” 이 길을 가능한 한 멀리 나아가는 것이며, 전환점이 도래하기 전의 모든 단계마다 게임 업계에 실질적인 도구 모음을 제공할 수 있습니다.

마무리

세계 모델이 진정한 기술적 완성도와 산업적 상용화를 이루기 위해서는 여전히 점진적인 과정이 필요합니다. 계산 효율성, 물리 법칙의 절대적 정확성, 그리고 광범위한 시나리오 시뮬레이션의 안정성 측면에서 신경망 엔진은 아직 넘어야 할 기술적 장벽이 적지 않습니다.

하지만 이 엔진의 가동을 뒷받침하는 3D 자산은 점점 더 풍부해지고 있다.VAST의 핵심 사업인 자체 개발한 Tripo 시리즈 3D 대형 모델은 지난 기간 동안 빠른 이터레이션을 거쳤으며, 올해 3월에 출시된 Tripo H3.1 및 Tripo P1.0 모델은 기하학적 정밀도와 생성 속도 면에서 모두 산업용 수준으로 발전했습니다.

최근 이들은 Tripo Studio에 8K AI 텍스처 알고리즘을 출시하여, 원래 며칠이 걸리던 수작업 그리기나 스캔 과정을 2분 이내로 단축했으며, 3단계의 디테일 수준 조절을 지원하는 ‘스마트 파트 분할 V2’를 선보여, 생성된 3D 에셋을 자동으로 파츠별로 분할하여 후속 작업 파이프라인으로 바로 전송할 수 있게 했습니다.

또한 VAST는 오픈소스를 통해 업계의 공동 발전을 촉진하고 있으며, 현재 칭화대, 홍콩대 등 대학들과 공동으로 오픈소스로 공개한 TripoSplat, AniGen, SkinTokens, LegoACE 등을 포함해 총 30개 이상의 프로젝트를 공개했으며, 이는 동적 해상도, 자동 본드링 등 여러 최첨단 분야를 아우르고 있습니다.

애플리케이션 측면에서, 이 회사의 원스톱 작업 플랫폼인 Tripo Studio는 현재 2,000만 명의 크리에이터를 확보하고 있으며, 텐센트, 넷이즈, 알리바바, 바이트댄스 등 주요 기업들과 긴밀한 협력 관계를 구축하고 있습니다.

VAST의 기술 로드맵에서 세계 모델과 3D 자산 대규모 모델은 서로 분리된 것이 아니라, ‘이중 구동’ 방식의 폐쇄형 루프를 이룹니다. 그들의 장기적인 비전은 분명합니다. 바로 “UGC 상호작용 플랫폼과 3D 콘텐츠 생태계의 기반”이 되는 것입니다.

이러한 기반 위에서, 전문 개발자든 일반 창작자든 상관없이, 앞으로는 더 낮은 진입 장벽과 더 높은 자유도를 바탕으로 상호작용이 가능한 디지털 세계를 창조하고 탐구할 수 있게 될지도 모릅니다.

신경망 엔진이 성숙해지기까지는 확실히 시간이 필요하지만, 기반이 되는 3D 자산이 풍부해지고 분리된 아키텍처가 원활하게 작동함에 따라, 데이터 기반의 실시간 상호작용이 가능한 디지털 공간이 개념에서 현실로 다가오고 있습니다. 그리고 VAST는 이를 위해 기술 및 생태계 차원에서 토대를 마련하고 있습니다.