Na indústria dos videojogos, há um tipo de trabalho que raramente é discutido, mas que consome uma grande quantidade de tempo e orçamento. Não se trata da jogabilidade, nem dos níveis, nem do estilo artístico, de que se fala com mais frequência. Trata-se, sim, das etapas finais do pipeline artístico: retopologia, mapeamento UV, aplicação de pesos, ligação de ossos…Por mais bonito que seja o modelo de alta resolução de uma personagem, se a topologia subjacente tiver problemas, a falha torna-se evidente assim que se começa a animá-la. Segue-se então um longo processo de retrocesso: corrigir a topologia, refazer o UV, as texturas, a ligação e a animação — uma alteração afeta tudo o resto. Estas tarefas não envolvem, muitas vezes, grande criatividade, mas são precisamente elas que determinam se um recurso 3D pode realmente entrar em produção.Nos últimos dois anos, as imagens e vídeos gerados por IA criaram expectativas muito elevadas, e a IA 3D tornou-se naturalmente a próxima grande expectativa. Há muitas pessoas a trabalhar nisso e não faltam demos impressionantes, mas quem realmente pretende utilizar estes modelos na produção sabe bem que há ainda um longo caminho a percorrer entre o facto de serem utilizáveis e o facto de serem verdadeiramente úteis e fáceis de utilizar.Muitos modelos de alta resolução parecem impressionantes à primeira vista, mas, quando introduzidos no fluxo de trabalho, não passam na primeira fase de verificação. A malha subjacente é um emaranhado de faces fragmentadas sem lógica, impossível de editar; a renderização em tempo real não aguenta a carga e, quanto à animação, nem vale a pena pensar nisso.O que é que realmente distingue o «3D que parece 3D» do «3D verdadeiramente utilizável»? Haverá alguém a tentar realmente colmatar esta lacuna? Nesta edição do podcast 405 Youju, convidámos Cao Yanpei, cientista-chefe da VAST.A VAST foi fundada em 2023, com foco principal em grandes modelos 3D de IA e modelos de mundo, e concluiu recentemente uma ronda de financiamento Série A no valor de 50 milhões de dólares, liderada conjuntamente pela Alibaba e pela Hengxu Capital. O seu produto, o Tripo, já conta com várias aplicações concretas no setor.O Tripo P1.0, lançado em março deste ano, não se destaca por ser «mais bonito», mas sim por ser «utilizável de forma nativa», procurando produzir, em 2 segundos, malhas de modelos baixos com topologia limpa e compatíveis com motores de jogo.
A simples utilização é apenas o primeiro passo; os recursos têm ainda de ser dinâmicos e interativos. O próximo desafio é a geração automática de ligações e animações e, posteriormente, dotar os próprios recursos de lógica comportamental. Seguindo esta linha, chegamos ao modelo de mundo: não se trata apenas de criar objetos, mas sim de criar um mundo no qual esses objetos possam funcionar.Recentemente, também divulgaram estudos preliminares sobre o modelo de mundo, e diz-se que o primeiro modelo de mundo está para breve. Cao Yanpei é o responsável técnico por trás destes modelos, licenciado e doutorado pela Universidade de Tsinghua, tendo anteriormente liderado a investigação em 3D generativo na Tencent.Durante uma conversa de quase uma hora e meia, ele utilizou a metáfora de um «lanterna de papel» para explicar de forma bastante clara a composição dos recursos 3D: o que a malha, a topologia, o UV e a estrutura óssea fazem, e por que razão há constantemente retrabalhos no fluxo de trabalho tradicional.Também não escondeu as atuais limitações: os problemas de topologia estão basicamente resolvidos, mas o binding e a animação ainda estão longe de estar prontos para produção.No entanto, precisamente porque o caminho do 3D é realmente mais difícil, a sua avaliação quanto à escolha da estratégia merece ainda mais atenção: enquanto a maioria dos investigadores aposta no vídeo como a via principal para o modelo do mundo, ele considera que isso equivale a tomar uma projeção de dimensão reduzida como se fosse um sinal nativo.E o 3D é, na verdade, a forma original de representação do mundo físico, cujo valor a longo prazo tem sido gravemente subestimado. Para além desta abordagem, ele levantou ainda uma questão mais ampla: se um dia fosse possível gerar 100 mil ativos, continuaria a criar jogos tal como os de hoje?
Talvez, quando o limiar para a criação de conteúdos 3D se tornar realmente baixo o suficiente, surjam novidades no domínio do entretenimento interativo.
Segue-se o diálogo completo, compilado com autorização pela «Game Teahouse», cujo conteúdo foi editado.
01
De «parecer» a «ser realmente utilizável», qual é, afinal, a dificuldade do 3D?
«As imagens e os vídeos são apenas uma camada superficial de píxeis 2D, enquanto os modelos 3D têm de ter uma estrutura precisa, uma topologia razoável e uma estrutura óssea, para que seja possível calcular as colisões físicas no motor; existe um enorme fosso entre ambos.»
Xiaoning: Nos últimos dois anos, todos viram muitas imagens e vídeos gerados por IA, mas, indo um passo além, o 3D é, na verdade, um tema ainda mais crucial e complexo — não se trata apenas de gerar algo, mas de integrar-se verdadeiramente nos processos de criação de jogos e de produção de conteúdos.
Hoje, gostaríamos de colocar a questão de forma mais específica: em que consiste, afinal, a dificuldade da IA 3D? Quais são os passos que uma linha de produção verdadeiramente apta para a produção tem de percorrer? Em que ponto se encontra atualmente o setor?
Cao Yanpei: Abordou com grande precisão o ponto fraco da área da geração 3D. Nos últimos dois anos, quer se trate do Sora, do Seedance ou de qualquer outra IA de geração e edição de imagens, todos já ficámos «mimados» pelos efeitos visuais impressionantes e achamos que a geração 3D deveria ser algo natural, não é verdade?No entanto, quem trabalha na área dos jogos ou da interação 3D sabe que existe um fosso enorme entre «parecer 3D» e «ativos 3D que possam ser realmente utilizados num motor de jogo».As imagens e os vídeos são apenas uma «camada» de píxeis 2D, enquanto os modelos 3D têm de possuir uma estrutura precisa, topologia de ligações, esqueleto e capacidade de calcular colisões físicas no motor, entre outras características.
Nós, na Tripo, temos-nos concentrado nestes últimos anos numa única coisa: como fazer com que o que a IA gera deixe de ser uma ilusão visual «bonita, mas inútil» e passe a ser ativos de nível industrial que ajudem verdadeiramente os designers gráficos e os programadores a criar, em poucos segundos, recursos utilizáveis em motores de jogos ou em software de criação digital (DCC), como o Maya, para a criação de animações e interações.Há algum tempo, lançámos também o Tripo H3.1 e o P1.0, tendo realizado uma reestruturação paradigmática na arquitetura subjacente. É com grande prazer que aproveitamos esta oportunidade para debater em profundidade com todos a lógica tecnológica subjacente à IA 3D.
Xiaoning: Muitos dos nossos ouvintes são profissionais da indústria dos videojogos, mas mesmo entre eles, embora haja talvez mais designers e programadores, nem todos conhecem verdadeiramente o fluxo de trabalho 3D.Vamos analisar isto passo a passo. Partindo da base, qual é a diferença fundamental entre uma imagem, um vídeo e um recurso 3D realmente utilizável?
Cao Yanpei: A diferença mais fundamental reside na natureza distinta da representação dos dados. Ao gerar imagens ou vídeos, as redes neurais processam matrizes de píxeis extremamente regulares e densas — a IA apenas precisa de preencher cada célula de uma grelha fixa com a respetiva cor.No entanto, o 3D é, na sua essência, uma estrutura espacial esparsa, ou mesmo um espaço não euclidiano. A IA não só tem de determinar a posição de milhares de vértices, como também tem de construir as relações de ligação entre esses vértices — ou seja, a «topologia da malha».
A modelagem 2D estuda as leis estatísticas da luz e das sombras no plano; atualmente, já é possível criar efeitos de luz e sombra muito realistas, mas, na essência, trata-se de uma «ilusão ótica», sem que haja por trás um verdadeiro objeto tridimensional. Para que um objeto exista no espaço tridimensional, a sua superfície tem de ser representada de forma contínua e precisa, além de necessitar de uma estrutura e funcionalidade completas.A transição da adaptação às leis de luz e sombra em 2D para a construção de uma lógica física e topológica rigorosa não se resume apenas a uma questão de mecanismos matemáticos, exigindo também uma maior reflexão no que diz respeito à conceção de redes neurais e modelos generativos.
Xiaoning: Malha, topologia, UV e ligadura de esqueleto — será que podes explicar, da forma menos académica possível, por que razão são importantes?
Cao Yanpei: Imagine que um modelo 3D é um farol de papel. A malha é a forma criada pela junção dos pedaços de papel que compõem a estrutura exterior do farol.A topologia refere-se à forma como os pedaços de papel são unidos; no corpo humano, corresponde ao traçado dos músculos. Por que razão a topologia é difícil e tem um impacto tão grande? Porque, se a topologia não for boa, o modelo não consegue mover-se — tal como, se os músculos crescerem de forma desordenada, um braço pode rasgar-se ao dobrar-se; na animação, o modelo ficará como um pedaço de papel amassado. UV é a forma de estender uma superfície tridimensional num plano 2D, tal como se descascasse uma tangerina — se o UV for demasiado fragmentado, o artista responsável pelas texturas entra em colapso, pois a superfície fica desarticulada e as bordas nunca coincidem.O rigging consiste em colocar dentro de um farol uma estrutura metálica móvel, definindo quais os ossos que movem quais os pedaços de papel, para que o farol ganhe vida.
Xiaoning: É bastante ilustrativo. Deixando a IA de lado por agora, como é que normalmente funciona o pipeline 3D tradicional? Quais são as etapas que demoram mais tempo?
Cao Yanpei: Tomemos como exemplo o processo de desenvolvimento de jogos da próxima geração: primeiro, há a conceção artística; depois, os modeladores criam um «modelo de alta resolução» extremamente detalhado, mas com um elevado número de polígonos.Em seguida, realiza-se a reestruturação topológica, cobrindo o modelo de alta resolução com polígonos simplificados e organizados de acordo com regras específicas, formando assim o «modelo de baixa resolução». Com o modelo de baixa resolução, procede-se à projeção de UV e à criação de texturas, após o que se aplicam os ossos e se definem os pesos, sendo o processo finalmente entregue ao animador.
O que mais consome tempo é a reestruturação da topologia e o binding; há muito pouca componente criativa, sendo essencialmente um trabalho manual complexo. Além disso, o binding e a animação são pontos em que é muito fácil ter de refazer o trabalho de forma penosa; muitas vezes, só quando se entrega o recurso ao animador para dar vida à personagem é que se descobre que há problemas na topologia e no roteamento quando esta se inclina ou dá um soco.Como se trata de um fluxo de trabalho totalmente linear, alterar a topologia implica refazer o UV, reaplicar as texturas, refazer o binding e refazer a animação — uma alteração afeta todo o processo.
02
Não deixar que outros tenham de resolver os problemas da IA: todo o processo, desde a criação do modelo até à sua implementação
«A filosofia subjacente ao P 1.0 é a seguinte: nesta fase, a IA precisa de se adaptar aos padrões industriais acumulados pelos seres humanos ao longo de décadas, em vez de ser os seres humanos a terem de corrigir os erros dos modelos gerados pela IA.»
Xiaoning: Nos últimos dois anos, quando se falava de IA 3D, tinha-se a sensação de que toda a gente estava a dar o que chamaste de «primeiro passo», ou seja, a criar modelos de alta resolução com excelente qualidade. Mas, de acordo com a tua explicação de há pouco, parece que ainda não se aprofundaram na verdadeira questão central?
Cao Yanpei: A sua opinião está absolutamente correta. O nosso foco principal é a questão da topologia da malha, que foi ignorada por muitas pessoas nos últimos dois anos. Os leigos limitam-se a ver se o modelo se parece com o original, mas os modeladores ou artistas técnicos da indústria, assim que recebem um modelo, a primeira coisa que fazem é, provavelmente, utilizar um atalho de teclado para mudar para o modo de arame e verificar se a estrutura subjacente está correta.Se a IA fornecer um emaranhado denso de triângulos sem lógica, trata-se de um recurso muito pesado, que representa um grande desafio em termos de desempenho tanto na edição como na renderização em tempo real, além de ser difícil de utilizar diretamente na fase de animação; o modelo de alta resolução não se enquadra no fluxo de trabalho industrial existente.
O nosso P1.0 visa resolver a questão de como gerar modelos de baixa resolução utilizáveis na linha de produção; chamamos a isso recursos «prontos a usar». Atualmente, consideramos que chegou realmente o momento de o AI 3D dar o salto de «gerar apenas modelos de alta resolução para prova de conceito» para «uma verdadeira fase de concretização da produtividade».
A filosofia subjacente ao P1.0 é a seguinte: na fase atual, a IA precisa de se adaptar aos padrões industriais acumulados pelos seres humanos ao longo de décadas, em vez de ser o ser humano a ter de corrigir os erros dos modelos gerados pela IA. No momento em que o modelo é gerado, trata-se já de uma malha padrão composta principalmente por quadriláteros, com um traçado razoável e formas precisas, pronta a ser utilizada.Desde o modelo de alta resolução até à topologia, passando pelo UV e pelas texturas, é basicamente possível importá-los diretamente para o motor UE ou para o Maya para criar animações e simulações.
Xiaoning: «"Pronto a utilizar" significa que pode ser editado em várias etapas-chave e que pode entrar diretamente no fluxo de produção?»
Cao Yanpei: Sim, trata-se mais de entrar diretamente no fluxo de trabalho, sem necessidade de muitas correções manuais.Se a IA demorar 2 minutos, ou mesmo 10 minutos, a gerar um modelo, mas, devido a uma topologia desorganizada, for necessário que um artista com grande experiência profissional passe metade do dia a limpar vértices e a refazer a topologia, torna-se difícil definir se a IA é, afinal, uma ferramenta de aumento de eficiência ou se representa um custo adicional de retrabalho.
Xiaoning: Já ouvi falar de duas abordagens para resolver o fluxo de trabalho 3D: uma consiste em avançar passo a passo, abordando cada ponto individualmente, e a outra é semelhante a abranger todas as etapas de uma só vez. Quais são, respetivamente, as vantagens de cada uma?
Cao Yanpei: A minha opinião é a seguinte: em termos pontuais, trata-se certamente de uma mudança repentina — um dia, uma determinada tecnologia passa subitamente a estar disponível; mas a integração em todo o fluxo de trabalho é gradual. Por exemplo, tarefas mecânicas como a reestruturação manual da topologia e a projeção manual de UVs: a versão P1.0 já está muito próxima do ponto de ruptura e é provável que sejam assumidas pela IA muito em breve.No entanto, a longo prazo, os modelos gerados continuarão a precisar de circular entre os fluxos de trabalho padrão, num formato padrão. Não pretendemos alterar completamente os hábitos de utilização do motor por parte dos utilizadores, mas sim substituir a forma como os ativos são produzidos em cada etapa. Os avanços tecnológicos são repentinos, mas, à medida que cada um deles é integrado na produção, continuamos a preferir uma integração gradual no fluxo de trabalho.
Xiaoning: Então, como é que essa integração gradual irá ocorrer? De que forma é que a IA e os seres humanos irão colaborar?
Cao Yanpei: Analisamos a questão sob dois aspetos. Por um lado, no que diz respeito aos processos profissionais, esperamos utilizar a IA para substituir, na medida do possível, as etapas menos criativas e mais complexas, como a topologia e a ligação, de modo a que todos possam concentrar a sua energia nas etapas que realmente exigem criatividade.
Por outro lado, o potencial mais vasto da tecnologia 3D com IA pode residir no público em geral, que nunca teve contacto com o pipeline 3D ou que nem sequer sabe o que é um modelo 3D. Assim que a IA conseguir abranger todo o pipeline, o utilizador final não precisará, de todo, de conceitos de computação gráfica, nem de conhecer o processo de produção de recursos artísticos.Tal como quando descarregamos um ícone da Internet e não nos preocupamos se foi criado com IA ou com o Photoshop, ou quando descarregamos uma animação SVG e não nos preocupamos com a forma como foi criada.A IA 3D também precisa de proporcionar aos utilizadores comuns esta transformação com um limiar de acesso extremamente baixo em termos de capacidade de ponta a ponta, para que ninguém sinta que o 3D é uma forma de expressão misteriosa ou restrita a um nicho; só assim será possível ver surgir um ecossistema de conteúdo gerado pelo utilizador (UGC) mais abrangente.
Xiaoning: Hoje em dia, quem realmente utiliza recursos 3D são os criadores de animações, os desenvolvedores de jogos e os criadores independentes. Que tipo de pessoas é que adotaram a IA 3D? Que tipo de empresas continuam a ser mais conservadoras?
Cao Yanpei: Atualmente, quem obtém o maior valor são, sem dúvida, as equipas de jogos de pequena e média dimensão, ou mesmo as independentes, bem como as equipas que desenvolvem plataformas de conteúdo gerado pelo utilizador (UGC) ou de geração programática. As grandes equipas «AAA» dispõem de orçamentos artísticos avultados e têm uma atitude mais cautelosa em relação à alteração dos fluxos de trabalho. Porém, muitas vezes, as equipas de pequena e média dimensão têm «mais ideias do que capacidade de produção».A escassez de recursos artísticos constitui um enorme obstáculo que limita o seu rápido desenvolvimento e a expressão das suas ideias centrais. A IA 3D proporciona-lhes uma excelente alavanca para construir, a um custo extremamente baixo, mundos que, originalmente, exigiriam uma equipa de arte composta por dezenas de pessoas para serem preenchidos.
No que diz respeito ao P1.0, em termos de adereços ambientais (props), componentes arquitetónicos de plano médio e longo, mobiliário e até mesmo personagens NPC simples e veículos, já se atingiu basicamente um nível de utilização imediata.O próximo passo é abordar animações muito complexas, especialmente animações faciais, bem como personagens principais de jogos com animações ligadas a rigs. Se conseguirmos ultrapassar este obstáculo, a aceitação por parte dos estúdios AAA irá aumentar gradualmente. Ao longo dos últimos dois ou três anos de iterações na tecnologia de geração 3D, é possível sentir, à medida que a qualidade melhora, que cada vez mais utilizadores a montante estão a descobrir o valor desta tecnologia.
Xiao Ning: Antigamente, quando se criavam jogos, tinha-se a sensação de que, se os recursos artísticos fossem, no total, 100, os 20% mais importantes — personagens, imagens geradas por computador (CG) e animações essenciais — podiam representar 80% do orçamento, enquanto os restantes 80% de «preenchimento» consumiam apenas 20%.Se não dominarmos a parte mais essencial, será que não conseguimos a fatia mais substancial?
Cao Yanpei: É realmente fundamental para as grandes produções 3A, mas, a longo prazo, damos igual importância à forma de reduzir as barreiras de entrada.Neste momento, são muito poucas as pessoas no mundo com capacidade real para criar jogos; tratam-se de uma minoria na ponta da pirâmide. Para permitir a entrada de mais criadores, é necessário alargar ao máximo o leque de pessoas com acesso a este tipo de tecnologia. Além de continuarmos a superar os desafios da geração mais detalhada, também é necessário garantir que, em termos de usabilidade e velocidade, a geração de recursos 3D seja vista como algo sem barreiras de acesso e sem custos.
Xiaoning: Vamos primeiro aprofundar um pouco mais o tema dos ativos essenciais. Os ativos essenciais não se limitam apenas aos jogos 3A; as personagens principais, os rostos e as animações de muitos jogos de segunda linha ou de dimensão relativamente grande também se enquadram nesta categoria. Para ultrapassar este limite, o que falta ainda neste momento?
Cao Yanpei: O P1.0 já abrange a fase inicial e intermédia, desde o modelo de alta resolução ao de baixa resolução, passando pela topologia e pelas texturas iniciais.A parte mais difícil que se segue, e na qual também estamos a dedicar muitos esforços, é a ligação dinâmica. A IA não só tem de compreender a geometria, como também a estrutura mecânica e os mecanismos de movimento físico subjacentes aos objetos tridimensionais, o que implica um volume de informação muito maior e um processo de acumulação e limpeza de dados mais demorado.
O essencial é que não se trate apenas da precisão dos recursos em si, mas que todos os componentes estejam completos. O utilizador pode começar a trabalhar e a criar animações assim que os receber. No que diz respeito ao binding e à animação, talvez ainda não estejam totalmente a um nível «production ready», mas acredito que em breve haverá um avanço significativo.
Xiaoning: Não é só uma empresa que está a trabalhar nisto. Se isso se concretizar, tornar-se-á uma tecnologia generalizada? Afinal, em que é que todos estão a competir?
Cao Yanpei: Tendo em conta a fase atual do setor, a IA 3D está a passar de um período de grande diversidade de artigos sobre algoritmos puros, característico dos últimos dois anos, para uma fase de definição de padrões de dados industriais. Quem conseguir fornecer o formato de dados mais estável, mais padronizado, mais rápido e mais fácil de ser integrado pelos motores existentes terá mais hipóteses de ocupar uma posição estratégica na cadeia ecológica.
Isto envolve o clássico dilema do inovador.As grandes empresas com um vasto portfólio de jogos dispõem de boas equipas técnicas, capacidade computacional e financiamento, mas as suas equipas internas de IA carregam um pesado fardo histórico, tendo de se adaptar a fluxos de trabalho já existentes e, por vezes, obsoletos — como, por exemplo, utilizar IA de há dez anos para dar resposta a processos de produção de jogos de há uma década. A forte ligação entre fluxos de trabalho específicos e a lógica de negócio coloca a investigação e o desenvolvimento numa situação difícil.
Já plataformas independentes como a VAST têm como vantagens a neutralidade tecnológica e a agilidade — não se limitam a aplicar correções a jogos antigos, nem se dedicam a um fluxo de produção específico, podendo partir dos princípios fundamentais para definir, diretamente com os algoritmos mais avançados, como deverá ser a geração 3D do futuro.
A longo prazo, a questão central que temos vindo a abordar é: como gerar instantaneamente e de forma direta um mundo 3D interativo e dotado de lógica subjacente.Um recurso 3D perfeito deve ter pele, carne, ossos e também um cérebro. No passado, a maioria dos modelos criados pela indústria limitava-se à superfície — apresentavam elementos visuais básicos, mas faltava tudo o que estava por baixo. O P1.0 resolveu a questão da «carne» através de uma malha nativa — uma estrutura topológica perfeitamente encaixada.A animação por ligamento pertence aos «ossos» — dotando o modelo de cinemática e estrutura física, com articulações em posições razoáveis, capazes de responder à interação do utilizador. O «cérebro» é o próprio recurso, que pode ser um NPC ou um Agente, interagindo com o jogador no ambiente e entre si.
Passar, passo a passo, da geração de formas geométricas puras para a construção de recursos que incluam cinemática e lógica interativa: este tem sido o nosso objetivo técnico desde o início.
Xiaoning: Pelo que acabaste de dizer, toda a lógica das tubagens irá sofrer alterações. Foram investidos muitos recursos humanos nas tubagens 3D e, como profissionais do setor, é natural que tenhamos curiosidade: o que não será substituído? O que é mais suscetível de ser substituído?
Cao Yanpei: Com o desenvolvimento tão rápido da IA, não são só os profissionais das artes plásticas e dos jogos que sentem uma grande sensação de crise; até mesmo os programadores e investigadores, que antes eram considerados o auge da inteligência, também a sentem.Este tema requer uma discussão a longo prazo. Mas, voltando à própria pipeline 3D, o significado e as tendências do desenvolvimento tecnológico correspondem também à direção que pretendemos dar à tecnologia: libertar as pessoas das tarefas repetitivas e complexas, para que possam dedicar a sua energia aos aspetos que realmente exigem criatividade e ideias.Mesmo limitando-nos ao pipeline 3D ou à indústria dos jogos, o que no futuro irá realmente refletir o nosso valor e a nossa diferenciação continuarão a ser as ideias, a criatividade e a capacidade de ação.
03
Dois segundos após a criação do modelo, quando a velocidade é tão elevada que altera a forma de criar
«Se alguém lhe dissesse que é possível criar 100 mil itens num só dia, que tipo de jogo criaria? Em comparação com a situação em que são necessários quinze dias para obter um item principal, as escolhas que as pessoas fariam seriam muito diferentes. Antes, essa opção nem sequer existia.»
Xiaoning: Já falaste várias vezes sobre a velocidade. Por que é que dão tanta importância à velocidade?
Cao Yanpei: Para nós, a velocidade não é um argumento de marketing, mas sim um objetivo que temos vindo a perseguir desde a fundação da empresa. A mudança quantitativa na velocidade provoca uma mudança qualitativa na criação de conteúdos 3D. Atualmente, o aspeto mais importante reside em reduzir o custo dos erros e tentativas praticamente a zero. Gerar um modelo demora 10 minutos, o que interrompe o fluxo de ideias do criador. No entanto, a velocidade de geração de 2 segundos da versão P1.0 permite um feedback em tempo real, permitindo-lhe validar instantaneamente 10 conceitos diferentes e ficar com o melhor.
Na verdade, isto liberta a imaginação dos criadores, que já não enfrentam grandes obstáculos quando lhes ocorre alguma ideia. É tal e qual como acontece atualmente quando se escreve código: assim que surge uma ideia, basta passá-la imediatamente ao Codex ou ao Claude e, depois, verificar se está correta. O mesmo se aplica ao 3D: só quando a velocidade de geração e a pressão psicológica daí resultante forem reduzidas ao mínimo é que haverá a possibilidade de provocar uma verdadeira mudança qualitativa.
Para o ecossistema do UGC, a velocidade é ainda mais crucial. No desenvolvimento profissional, a velocidade traz um aumento de eficiência, mas no UGC proporciona a satisfação imediata, que é o elemento mais essencial. O utilizador comum não tem paciência para esperar 10 minutos pela barra de progresso; só a IA consegue gerar objetos 3D instantaneamente, como se bastasse premir a tecla «Enter», e é isso que dá ao utilizador a motivação para continuar a interagir e a criar.
Xiaoning: Acho que, no que diz respeito à velocidade, as expectativas psicológicas são completamente diferentes consoante se considere a produção ou o consumo. Concordo bastante com a lógica do UGC. Mas, voltando ao lado da produção, antigamente a criação de um recurso 3D demorava dias ou semanas; reduzir esse tempo para 2 segundos é algo extremo.Afinal, a partir de que velocidade se verifica uma mudança qualitativa? Será mesmo necessário chegar a um extremo destes?
Cao Yanpei: O que o «2 segundos» consegue fazer principalmente é a geração de topologia de grelha nativa; posteriormente, a aplicação de texturas e a ligação de animações ainda requerem intervenção humana ou a colaboração entre IA e humanos.Não se trata de gerar um recurso completo de ponta a ponta em poucos segundos, mas esse é um objetivo que pretendemos perseguir com grande empenho no futuro. Será que é realmente necessário que seja em segundos? Talvez não, mas quanto mais rápida for a geração, mais as pessoas conseguirão libertar-se das limitações de pensamento impostas pelas restrições de tempo do passado.
Se alguém lhe dissesse que é possível criar 100 mil recursos num dia, que tipo de jogo criaria? Em comparação com a situação em que são necessários quinze dias para obter um único recurso principal, as escolhas que as pessoas fariam seriam muito diferentes; antigamente, essa primeira opção nem sequer existia. Mesmo em áreas especializadas, a mudança quantitativa na velocidade continua a provocar uma mudança qualitativa nos paradigmas de produção e nas formas de pensar.
Xiaoning: Como ex-trabalhadora na indústria dos videojogos, isto é certamente um impulso positivo para os criadores mais criativos. Mas, para os trabalhadores, parece que a concorrência ficou ainda mais acirrada: antes, criávamos um ou dois recursos por semana; agora, com a ajuda destas ferramentas, talvez tenhamos de criar dez mil por dia?
Cao Yanpei: Não acho necessariamente que a concorrência seja mais acirrada. Com a introdução da IA, a forma como o conteúdo é produzido também irá mudar.É um pouco como a diferença entre quem fazia vídeos nas estações de televisão antigas e quem hoje trabalha com vídeos curtos nas MCN — o valor pessoal essencial pode ser o mesmo, mas a forma do conteúdo tornou-se mais diversificada: além dos programas de longa duração, há agora minisséries e uma infinidade de vídeos curtos; há, de facto, muito mais espaço para desenvolver o talento.Quanto à questão de saber se a concorrência está mais acirrada, trata-se de um problema social e económico complexo, que não pode ser totalmente atribuído a uma única tecnologia.
Xiaoning: Quando falam de UGC, o que é mais importante para vocês: reduzir as barreiras para os criadores ou conseguir, de uma só vez, que qualquer pessoa possa criar conteúdo?
Cao Yanpei: O objetivo final é um UGC 3D mais puro; foi essa a razão pela qual criámos esta empresa. Mas cada tecnologia que reduz as barreiras de entrada também contribui, em certa medida, para reduzir custos e aumentar a eficiência; pode chamar-lhe «ganhos colaterais», se quiser.A grande maioria das pessoas ainda não definiu claramente como é que o UGC 3D se apresenta, e há até quem duvide que seja possível concretizá-lo. Por isso, trabalhamos sempre com objetivos ambiciosos, mas também de forma pragmática, garantindo que cada tecnologia desempenhe o papel que lhe cabe no setor atual.
Quando apresentamos a Tripo, normalmente não costumamos dizer: «Somos uma empresa de ferramentas 3D que ajuda as empresas de jogos a poupar tempo e esforço». Se nos posicionarmos como uma ferramenta, o seu valor resume-se à redução de custos e ao aumento da eficiência. Na realidade, o que estamos a fazer é desbloquear a infraestrutura subjacente da próxima geração de UGC ou de plataformas de entretenimento interativo para todos.
Xiaoning: Existe uma ordem de prioridade entre reduzir os requisitos mínimos e atingir o limite máximo? Em termos de dificuldades técnicas, seguem a mesma linha?
Cao Yanpei: Nas condições atuais do setor, trata-se, na verdade, da mesma coisa. O limite mínimo para a redução das barreiras de entrada continua a ser a «prontidão para o pipeline». Ao procurar uma qualidade superior, os recursos continuam a ter de estar «prontos para o pipeline» — uma vez que estejam prontos para o pipeline, quer se trate de um motor de jogos ou de um minijogo programado em Vibe, os requisitos para os recursos são os mesmos.Com a capacidade de gerar ativos «pipeline-ready» e com os componentes cada vez mais completos, o limiar de entrada diminui naturalmente. Pelo menos neste momento, estas duas coisas são a mesma coisa.
04
Apostar no 3D em vez de apostar no vídeo: uma aposta diferente no futuro
«O mundo real é, por si só, tridimensional; os píxeis bidimensionais dos vídeos são apenas uma projeção do mundo tridimensional após uma compressão e redução de dimensões. A persistência na abordagem do 3D nativo tem visto a sua capacidade de expansão tecnológica a longo prazo ser significativamente subestimada no campo da investigação em IA.»
Xiaoning: Tens falado constantemente sobre motores de jogos, mas, nesta era de evolução dos modelos de vídeo, as pessoas também se questionam se o próprio motor de jogos irá mudar. Será que existe a possibilidade de, no futuro, alguns géneros de jogos surgirem sem dependerem de um motor?
Cao Yanpei: É perfeitamente possível; nós próprios também dedicamos muito tempo a refletir e a explorar esta questão. Olhando para os próximos anos, o conteúdo interativo não se limitará apenas à forma tradicional dos jogos. Por exemplo, já existem, de facto, modelos de mundos interativos: a partir de uma imagem, através da interação entre o modelo de vídeo e a imagem, é possível explorar esse mundo e até mesmo influenciar o ambiente.
Além disso, com o reforço das capacidades de programação de IA e dos agentes, será que é necessário um novo motor que facilite a utilização por parte dos agentes de IA? Esta é, muito provavelmente, a tendência para o futuro. Atualmente, os jogos programados com o Vibe Coded utilizam o Three.js; na minha opinião, isso deve-se ao facto de a IA não ter capacidade suficiente para controlar motores pesados como o Unity ou o UE, pelo que a forma mais direta é escrever JavaScript a partir do zero.
Xiaoning: O termo «modelo do mundo» tem vindo a ganhar cada vez mais popularidade nos últimos seis meses e tem sido muito debatido. Como é que defines o modelo do mundo? Quais são as diferenças entre vocês?
Cao Yanpei: Concordo com a definição geralmente aceite no meio académico: partindo de um estado atual e de uma ação, prever o estado do ambiente no momento seguinte. No entanto, cada um aplica este conceito na prática na sua área de interesse.
Diferenciamo-nos da abordagem de geração de vídeo puro, que está na vanguarda do setor. A geração de vídeo puro funciona mais como um simulador de luz e sombra, aprendendo as variações de luz e sombra, mas é difícil garantir as leis do mundo tridimensional subjacente. É também por isso que as pessoas criticam os modelos do mundo dos vídeos por apresentarem frequentemente erros de senso comum ou de lógica.
Desde o início que o nosso objetivo foi permitir que o modelo de vídeo funcionasse num ambiente de interação simultânea entre vários participantes, com mecânicas e comportamentos altamente controláveis — permitindo que vários jogadores e agentes inteligentes exercessem influência simultânea sobre o ambiente.Mais importante ainda, as mecânicas e os comportamentos do mundo devem ser altamente previsíveis e determinísticos — num jogo de corridas, se A ultrapassar B, significa que está à frente de B, e a posição não pode mudar apenas por causa de uma variação num determinado fotograma. Um modelo puramente de vídeo tem, pela sua própria natureza, dificuldade em garantir essa unicidade e determinação.
É claro que há quem diga que aquele aspeto do modelo de mundo em vídeo, em que «não se sabe como ficará o local por onde se passou», também constitui uma experiência inovadora. No entanto, consideramos que essa sensação de novidade é, na sua essência, um recurso provisório baseado nas limitações de memória do modelo de vídeo, sendo difícil ajudar os criadores que pretendem realmente controlar e criar a construir conteúdos que possam ser vividos repetidamente.A nossa abordagem à criação de modelos de mundo continua a ser a seguinte: apoiar a interação multijogador, sendo que os mecanismos e o futuro do mundo são previsíveis e univocamente determinados.
Xiaoning: A lógica da geração puramente por vídeo não é uma compreensão no sentido estrito da palavra; pequenos erros vão-se acumulando. Para atingir o objetivo de que falaste, parece que isso implica que a inferência do modelo tenha uma sequência lógica verdadeira?
Cao Yanpei: Tem toda a razão. Por isso, precisamos de nos afastar do paradigma do modelo de vídeo único e atribuir tanto a dedução como a apresentação visual ao mesmo modelo; com as capacidades atuais, é difícil garantir um elevado nível de controlabilidade.Iremos introduzir mais estados explícitos na fase de inferência, como, por exemplo, estados 3D ou em código. Trata-se ainda de uma exploração bastante inicial, mas assim que o caminho a seguir estiver claro, iremos avançar rapidamente com iterações e validações.
Xiaoning: Porque é que não esperamos que outros o criem para o usarmos diretamente?
Cao Yanpei: Como as opiniões divergem bastante quanto ao estado final do modelo do mundo e às questões a resolver em primeiro lugar, as escolhas tecnológicas variam muito. Os cenários de aplicação mais comuns poderão ser o controlo de robôs e a simulação, o que difere bastante das aplicações que nos interessam para os próximos três a cinco anos, o que levará ao desenvolvimento de diferentes linhas tecnológicas.Além disso, a Tripo tem-se dedicado a resolver as «condições» no mundo digital — gerar ativos é gerar condições, mas a forma como os ativos evoluem e como se migra entre essas condições é precisamente o que o modelo do mundo pretende resolver. Chegámos precisamente a este ponto, e o modelo do mundo é, além disso, uma direção tecnológica com enorme potencial e capacidade de imaginação.
Xiaoning: Nos próximos um a dois anos, qual será a vossa principal área de investimento?
Cao Yanpei: No domínio da IA, planos de dois ou três anos são realmente muito longos — os mecanismos dos algoritmos, a capacidade de computação, a construção de redes neurais e os paradigmas de investigação multimodal podem sofrer grandes reestruturações a cada poucos meses.Para nós, o essencial é manter uma elevada sensibilidade tecnológica e uma grande agilidade na tomada de decisões, sem criar uma forte dependência de um determinado caminho. Assim, quando surgirem novas tendências, poderemos ajustar rapidamente a nossa direção, seguindo um percurso de iteração muito ágil, desde a reestruturação tecnológica até aos modelos ao nível do produto e, por fim, às capacidades do produto.
Na minha cabeça, a situação daqui a dois ou três anos será, provavelmente, a conclusão da transição de uma ferramenta de produtividade para a criação de recursos 3D para uma plataforma de computação espacial ou de interação UGC — mas, na realidade, o que mais nos preocupa são as iterações rápidas dos próximos dois ou três meses, ou mesmo das próximas semanas.
Xiaoning: Quanto tempo demorará até que a IA 3D entre diretamente na linha de produção com alta qualidade? Será que isso poderá acontecer dentro de dois ou três anos?
Cao Yanpei: Tendo em conta o ritmo atual do desenvolvimento tecnológico, dois ou três anos pode até ser um prazo um pouco longo. Por esta altura do próximo ano, podemos perfeitamente esperar que os recursos gerados por IA já disponham de uma excelente integração de texturas e topologia, podendo ser utilizados como recursos de jogo completos.
Por esta altura, no ano passado, havia muitas críticas à qualidade dos modelos de alta resolução gerados; bastava gerar aleatoriamente um carro para que a forma não fosse precisa, e as figuras de coleção nem sequer atingiam o nível desejado para impressão.No entanto, passados dez meses, os modelos de alta resolução já se aproximam do nível da escultura manual realizada por artistas humanos, e os modelos de baixa resolução com topologia adequada também apresentam resultados excelentes. Até ao próximo ano, os recursos com «pele, carne, ossos e cérebro» deverão poder ser gerados de ponta a ponta pela IA.
Xiaoning: Na perspetiva atual, o que é que está a ser sobrevalorizado e o que é que está a ser subvalorizado no domínio da IA 3D?
Cao Yanpei: O que continua a ser sobrestimado é o realismo visual. As pessoas veem na Internet resultados gerados em 3D muito realistas, mas esses são apresentados sob a forma de vídeo. Do ponto de vista dos modelos de alta resolução renderizados, são de facto muito detalhados; os profissionais do setor têm essa sensação, mas o público em geral não consegue perceber a diferença.
O que é subestimado é o valor supremo do sinal 3D como representação nativa do mundo físico. No meio académico, esta modalidade 3D é, em grande medida, menosprezada.Muitos académicos invocam «lições amargas» para argumentar que o 3D é difícil de escalar, não é generalizável e envolve muita conceção artificial, considerando que o caminho vencedor será, inevitavelmente, aquele que se baseia de forma mais pura em enormes quantidades de dados de vídeo. Considero que esta perspetiva tem grandes limitações — o quadro implícito nela está limitado à mentalidade das tarefas tradicionais de visão computacional.
Voltando aos princípios fundamentais: o que é mais nativo, uma matriz de píxeis 2D ou um sinal 3D com dimensões espaciais absolutas? A resposta é, obviamente, a segunda opção. O mundo real é, por si só, tridimensional; os píxeis 2D são projeções resultantes da compressão e redução de dimensões do mundo tridimensional.O P1.0 aprende e gera diretamente na estrutura tridimensional; em vez de introduzir um design artificial, permite que a IA se adapte diretamente aos sinais originais do mundo físico. Ao manter a abordagem 3D nativa, a sua extensibilidade tecnológica a longo prazo e a sua sustentabilidade têm sido significativamente subestimadas.
Xiaoning: Durante a GDC, o Simon (fundador da VAST) disse-me que muitas pessoas ainda não experimentaram verdadeiramente a IA 3D, mesmo numa conferência tão importante para os programadores como a GDC. Será que isto também constitui uma subestimação?
Cao Yanpei: Pessoalmente, tenho exatamente a opinião contrária: sou bastante otimista. O facto de ainda não termos tido contacto com algo que é claramente útil significa que há um enorme potencial para o futuro. É fácil compreender por que razão isto acontece: só com o lançamento da versão P1.0 é que conseguimos obter rapidamente recursos com topologia correta.Antes, as primeiras pessoas que tiveram contacto com o produto experimentaram-no e descobriram que se tratava de modelos de alta resolução; como consideraram que não tinham grande utilidade, não tiveram motivação para o promover. Com o lançamento do P1.0, todos perceberam que se tratava realmente de malhas de ativos de jogos, e muitos clientes estrangeiros procuraram ativamente integrar a API; após o período de teste, geraram naturalmente subscrições. Este foi, de facto, um ponto de viragem bastante significativo.
Xiaoning: Se tivesses de o descrever em apenas uma ou duas frases, como gostarias que o público em geral entendesse o Tripo?
Cao Yanpei: Esperamos que todos entendam o Tripo como a base criativa de uma nova plataforma interativa de UGC (Conteúdo Gerado pelo Utilizador) e de um ecossistema de conteúdos 3D. Não se trata apenas de uma ferramenta de criação 3D que poupa tempo e esforço, mas sim de um conjunto completo de capacidades de base concebido para a próxima geração de formas de interação e para o ecossistema de conteúdos 3D.Quer se trate de grandes equipas «AAA» ou de pessoas comuns sem conhecimentos de artes plásticas, mas com entusiasmo e a cabeça cheia de ideias, todos poderão construir em tempo real o mundo 3D que têm na imaginação, com um limiar de acesso muito baixo.
Xiaoning: Trata-se de um projeto de grande envergadura.
Cao Yanpei: Não nego que se trate de um objetivo muito ambicioso. Mas a nossa equipa sempre teve como objetivo avançar continuamente, visando metas elevadas, em vez de nos limitarmos a um futuro cujo fim se vislumbra rapidamente.
原创文章，作者：游茶妹儿，禁止转载：https://youxichaguan.com/pt/archives/216300
