
Modelo de transformador de difusão de última geração (DiT) projetado especificamente para criar anúncios de vídeo baseados em avatares com qualidade de estúdio profissional — disponível hoje no Creatify.
Aurora – Renderização Ultra-Realista e Guiada por Áudio de Avatares Reativos – é um avanço em IA generativa que traz imagens à vida, projetada especificamente para anunciantes, profissionais de marketing e criadores de conteúdo que buscam qualidade de vídeo de nível profissional de estúdio. Dê ao Aurora uma única foto de uma pessoa (real ou gerada por IA) e um clipe de áudio de fala ou música, e ele gerará um vídeo de alta fidelidade e qualidade de estúdio dessa pessoa falando ou cantando. Este modelo multimodal para a síntese de avatares foi construído com nossos principais usuários em mente—anunciantes, profissionais de marketing e criadores de conteúdo—entregando avatares expressivos ultra-realistas que se movem e expressam emoções como seres humanos reais.
Imagine um retrato parado de repente sorrindo, piscando e entoando uma melodia – tudo a partir de uma imagem e um arquivo de áudio. Aurora torna isso possível, abrindo uma nova fronteira na criação de conteúdo e narração virtual.
Através de comparações com outros métodos, descobrimos que Aurora possui as seguintes fortalezas:








No núcleo da Aurora está um modelo de base multimodal baseado em difusão, desenvolvido especificamente para a síntese de avatares generativos. Utilizamos uma arquitetura inovadora que inclui um codificador de imagem, um codificador de texto e um codificador de áudio para processar informações de diferentes modalidades. Fundimos todas essas informações para gerar um avatar com movimentos que se alinham ao áudio e ao texto de entrada. Para garantir uma fusão eficaz, projetamos um canal especial de troca de informações de modalidades para que todas as modalidades estejam bem-alinhadas e integradas no espaço latente. Esta arquitetura inovadora permite que nosso modelo capture detalhes sutis nas expressões humanas. Ele aproveita as pistas emocionais no áudio para gerar uma saída visual que reflete reações humanas naturais.
Modelos de difusão sintetizam vídeos refinando iterativamente as imagens, o que ajuda a Aurora a manter detalhes fotorrealistas e coerência temporal em cada quadro. O resultado é um movimento suave e natural, sem os erros bruscos ou artefatos não naturais que afligiam métodos anteriores. Desde sutis piscadelas até a textura da pele e do cabelo, o realismo da Aurora é alimentado pela ciência generativa de ponta. Os primeiros testadores ficaram impressionados com o quão natural e expressivo são os vídeos da Aurora, mesmo quando comparados a filmagens reais. Os avatares mantêm contato visual e gesticulam nos momentos apropriados, tudo isso enquanto se assemelham de perto à pessoa na foto original. Para anunciantes e criadores, esse nível de realismo é crucial—os espectadores permanecem imersos e engajados quando os visuais parecem reais, o que é especialmente benéfico em vídeos de marketing.
A principal diferença entre o Aurora e os modelos anteriores de sincronização labial é que o Aurora não apenas sincroniza os lábios – ele traz a expressividade humana completa para o avatar digital. Os avatares gerados exibem expressões faciais realistas, movimentos de cabeça e até gestos de parte superior do corpo – por exemplo, eles podem levantar uma sobrancelha, acenar com a cabeça ou usar as mãos para ênfase enquanto falam. Essas nuances fazem com que a performance do avatar pareça autêntica e envolvente.
Os geradores tradicionais de cabeças falantes geralmente pareciam estáticos ou apenas moviam a boca, mas o Aurora anima toda a personalidade. O avatar pode mudar seu olhar, piscar naturalmente e executar movimentos realistas das mãos em sincronia com a fala. Este nível de expressividade significa que os avatares do Aurora comunicam além das palavras, transmitindo tom e emoção por meio da linguagem corporal. Cada sorriso, careta ou encolher de ombros é gerado para corresponder ao contexto, então o resultado é um avatar que se comporta como uma pessoa real na câmera em vez de um boneco animado. Com movimentos tão realistas, um avatar do Aurora poderia até servir como um porta-voz convincente na tela em um comercial, transmitindo a mensagem de uma marca com autenticidade semelhante à humana.
Um dos recursos mais notáveis do Aurora é que você só precisa de uma única imagem para criar um vídeo. Com apenas uma foto de referência, Aurora pode gerar um vídeo coerente e realista daquela pessoa falando ou cantando pelo tempo que você tiver áudio ou texto de roteiro. Não há necessidade de capturar múltiplos ângulos ou treinar um modelo com horas de filmagem da pessoa—Aurora funciona sem treinamento prévio: basta fazer upload de uma imagem junto com um clipe de áudio ou roteiro, e o modelo fará o resto.
Mesmo com apenas uma imagem, o modelo preserva a identidade e a aparência do personagem em cada quadro. O rosto e o corpo do avatar permanecem fiéis ao modelo (sem se transformar em outra pessoa ou sair da forma) graças ao design de Aurora. Não é necessária nenhuma configuração especializada; uma foto casual de smartphone ou até mesmo um retrato de personagem criado por IA é suficiente para liberar as capacidades do Aurora. Isso reduz drasticamente a barreira para qualquer um—de criadores independentes a equipes de marketing—para criar vídeos de avatar de alta qualidade—é tão simples quanto selecionar uma imagem, adicionar um clipe de áudio e deixar o Aurora gerar a performance.
Os avatares ultra-realistas e orientados por áudio da Aurora abrem a porta para inúmeras aplicações. Aqui estão algumas maneiras pelas quais publicitários, profissionais de marketing e criadores podem usar a Aurora:
Aurora inaugura uma nova era onde criar um vídeo falante realista é tão simples quanto ter uma foto e algo a dizer.
Nosso objetivo é superar os limites da animação de avatares ultra-realistas, fazendo parecer que a pessoa na imagem está genuinamente viva, expressiva e se comunicando no vídeo. Estamos entusiasmados em lançar Aurora para criadores, anunciantes e profissionais de marketing que desejam aproveitar essa capacidade. Acreditamos que será uma ferramenta poderosa para contar histórias, comunicação, marketing digital e inovação. Mal podemos esperar para ver o que você irá criar com isso e estamos ansiosos para continuar aprimorando o modelo com seu feedback.
A linha entre o real e o virtual continua a se desfocar, e com Aurora, sua versão digital pode falar tão vividamente quanto você. Para nossos parceiros de marketing, isso significa poder entregar conteúdo de vídeo ultra-realista que captura a atenção do público e melhora o desempenho das campanhas. Afinal, o vídeo da mais alta qualidade frequentemente leva a uma melhor conversão em anúncios. Bem-vindo ao futuro de avatares naturais e expressivos!