VideoAdAgent Bench v1

Destaques — todos os eixos como pontuações de 0–1

Por que criamos este benchmark

Até agora, não existia um benchmark público que avaliasse sistemas de vídeo com IA na tarefa completa de produzir um anúncio finalizado. Os benchmarks de vídeo existentes — VBench, Video Arena, EvalCrafter — medem a fidelidade quadro a quadro em saídas de texto para vídeo de uma única tomada. Nenhum deles mede se o resultado funcionaria como anúncio: força do gancho, alinhamento com a marca, tipografia na tela, custo das alucinações, acabamento de produção. O VideoAdAgent Bench preenche essa lacuna.

Um clipe impressionante de oito a doze segundos não é um anúncio. Um anúncio precisa mostrar a marca no ângulo certo, exibir o nome do produto sem embaralhar as letras, construir um arco narrativo com um gancho nos três primeiros segundos, cumprir uma duração e uma proporção fixas, ter locução ou música e passar por uma revisão de QA de produção sem alucinações de produto, falhas de anatomia ou artefatos de texto que obriguem a gerar tudo de novo. Os modelos de texto para vídeo atuais nem tentam resolver a maioria desses problemas. Os agentes que os envolvem ou tentam, mal, ou os ignoram por completo. O objetivo deste benchmark é medir exatamente essa lacuna.

Espelhando a produção real de anúncios

Cada briefing é estruturado do jeito que nossa equipe criativa interna escreve um para produção: descrição do produto, diretrizes da marca, intenção narrativa (problema-solução / antes-depois / demonstração / depoimento / lifestyle), restrições da plataforma (duração, proporção, textos obrigatórios na tela) e os materiais de entrada em que o agente deve se basear — logo, imagem de referência do produto, referência de persona. O agente recebe o briefing e devolve um MP4 finalizado. Avaliamos o MP4 como um diretor de criação avalia uma campanha antes da aprovação: não com base em uma lista de recursos, mas em se o resultado está pronto para ser publicado.

O conjunto de briefings abrange todos os principais padrões de produção de anúncios, além de testes de estresse direcionados aos eixos mais difíceis da produção com múltiplas cenas: storytelling com âncora, consistência de persona, reutilização de ativos da marca, tipografia de CTA estruturada e conformidade com o arco de persuasão. Todos os briefings usam marcas fictícias e mockups de produto gerados por IA para evitar propriedade intelectual de clientes reais. O conjunto completo é pré-registrado — publicado em um commit com tag antes que qualquer saída fosse gerada — para que nenhum sistema do benchmark pudesse ter sido ajustado aos briefings específicos.

Eixo 1 — Agente vs Agente (Creatify vs HeyGen V3, Luma)

Comparação estritamente entre agentes. Os dois sistemas recebem o mesmo briefing e produzem um anúncio finalizado; juízes LLM (Opus 4.7 + GPT-5) veem o briefing e pontuam 8 dimensões dos critérios de anúncio. Taxa de vitória = % de pares que a Creatify ou a HeyGen vence de forma clara (consenso entre os dois juízes + as duas posições). Pontuações por dimensão = pontuação média que os juízes deram a cada sistema em todos os pares (corrigida pela troca de posição).

Eixo 2 — Qualidade do Anúncio (Creatify vs modelos T2V puros)

Comparação pareada com múltiplos juízes, em que os juízes veem o briefing e pontuam 8 dimensões dos critérios de anúncio. As pontuações por dimensão abaixo são médias por sistema em todos os pares em que o sistema apareceu. Os agentes concorrentes (HeyGen V3, Luma) são avaliados separadamente no Eixo 1; este eixo inclui apenas a Creatify e os modelos fundacionais puros de texto para vídeo.

Duas variantes de base por modelo fundacional. Cena única reproduz como Veo 3.1, Kling 3.0 e Seedance 2.0 são realmente usados hoje: o briefing vira um único prompt e o modelo devolve um clipe de 8–12s. Múltiplas cenas é uma variante mais justa que criamos para as bases de comparação: um LLM decompõe o briefing em prompts por cena (a mesma etapa de decomposição que o Creatify Agent faz internamente), cada cena é gerada separadamente e os clipes são concatenados.

Eixo 3 — Qualidade de Produção do Vídeo (Creatify vs modelos T2V puros)

O Eixo 3 avalia o vídeo finalizado como entrega, independentemente de quão bem ele responde ao briefing. Duas medições complementares: (1) uma pontuação de alucinação & defeitos visuais feita pela visão do Claude Opus 4.7 em 15 quadros por vídeo; e (2) verificações determinísticas de conformidade mecânica no MP4 renderizado — duração, proporção, áudio, tipografia na tela. Elas se combinam na pontuação do Eixo 3, com o componente de alucinação com peso 3×.

Pontuação de alucinação e defeitos visuais (0–10, quanto menor, melhor)

15 quadros espaçados uniformemente por vídeo, enviados ao Claude Opus 4.7 com a descrição do produto do briefing como referência. Seis categorias pontuadas de 0–10 (maior = mais defeitos). Taxa de aprovação = proporção de briefings com pontuação < 3.0 (limite de qualidade de produção).

Acabamento de produção &mdash; qualidade estrutural determinística (0&ndash;1)

Quatro medições sem LLM no MP4 renderizado. Cada célula é uma pontuação de qualidade de 0–1, com média calculada sobre todos os briefings do conjunto. Precisão de duração: ±0.5s do alvo · Proporção: dentro de 5% · Coesão de áudio: contém uma faixa de áudio · Precisão de renderização de texto: fração dos textos obrigatórios na tela detectados (OCR + visão do Claude).

Conclusão

1. A Creatify vence com folga todos os agentes concorrentes. Confronto direto do Eixo 1: modo Pro com 85% de taxa de vitória e modo Lite com 76% contra o campo. O concorrente mais forte (Luma) vence apenas 34% dos seus pares entre agentes; a HeyGen, 0%.

2. A Creatify domina os modelos T2V puros em qualidade de anúncio. Eixo 2: modo Pro com 95% de taxa de vitória, modo Lite com 89%. O melhor modelo fundacional puro fica em 4%.

3. A Creatify produz a entrega de vídeo mais limpa. Pontuação de qualidade de produção do modo Pro 0.990 · modo Lite 0.965 · melhor base fora da Creatify 0.922 (Luma). Pontuação de alucinação do modo Pro 1.90 · modo Lite 2.85 · T2V puro de múltiplas cenas 3.65–3.85.

4. O modo Pro supera o modo Lite nos eixos de confronto direto. A etapa de revisão de QA por cena do Pro acrescenta +9 pontos de taxa de vitória no eixo 1, +7 pontos de taxa de vitória no eixo 2, −0.95 em defeitos de alucinação e +2.5 pontos de qualidade de produção — com ~2× o custo e ~2× a latência.

5. A Creatify entrega um anúncio pronto para publicar, não um clipe bruto. Lite a $3/vídeo e Pro a $6/vídeo — cada um produzindo um anúncio de marca totalmente montado. Coesão de áudio completa, duração precisa, 89–96% do texto na tela renderizado corretamente, contra 15–21% nos modelos T2V puros.

O benchmark é open source. Todos os briefings, todos os veredictos brutos dos juízes, todos os vídeos de saída e todos os scripts de agregação estão publicados sob Apache 2.0 em github.com/creatify-ai/VABench.

O que vem a seguir

A v2 vai ampliar o benchmark em dois eixos. Primeiro, mais briefings cobrindo padrões de anúncio específicos por vertical: e-commerce, instalação de apps, SaaS B2B, saúde, educação. Segundo, uma trilha de ciclo fechado que mede o valor da revisão em várias rodadas. Também estamos incorporando sinais de nível de campanha (CTR, ROAS) a um AdReward específico do domínio para conduzir o alinhamento no estilo DPO dos modelos I2V subjacentes.

Agradecimentos

O Creatify Agent e este benchmark se apoiam nos ombros de uma comunidade de pesquisadores que trabalham com vídeo multiagente, avaliação de qualidade de vídeo, critérios de eficácia de anúncios e garantia de qualidade em ciclo fechado. Linhas de pesquisa notáveis em que nos baseamos:

• Geração de vídeo multiagente: Mora, VideoDirectorGPT, FilmAgent, StoryAgent, VISTA.
• Benchmarks de qualidade de vídeo: VBench / VBench-2.0; VideoGen-Eval; Artificial Analysis Video Arena.
• Modelagem de recompensa para vídeo: VideoReward / Flow-DPO, UnifiedReward.
• Critérios específicos para anúncios: Springboards Creativity Benchmark, AdsQA, o Pitt Ads Dataset.
• Garantia de qualidade em ciclo fechado: Meta-Harness; Learning Beyond Gradients.