VideoAdAgent Bench v1

Resumen — todos los ejes como puntuaciones de 0–1

Por qué creamos este benchmark

Hasta ahora no existía un benchmark público que evaluara los sistemas de vídeo con IA en la tarea completa de producir un anuncio terminado. Los benchmarks de vídeo existentes — VBench, Video Arena, EvalCrafter — miden la fidelidad por fotograma en resultados de texto a vídeo de una sola toma. Ninguno mide si el resultado funcionaría como anuncio: fuerza del gancho, alineación con la marca, tipografía en pantalla, coste de las alucinaciones, acabado de producción. VideoAdAgent Bench llena ese vacío.

Un clip impresionante de ocho a doce segundos no es un anuncio. Un anuncio tiene que mostrar la marca desde el ángulo correcto, escribir el nombre del producto sin letras deformadas, construir un arco narrativo con un gancho en los tres primeros segundos, ajustarse a una duración y relación de aspecto fijas, incluir locución o música y superar una revisión de calidad de producción sin alucinaciones del producto, fallos anatómicos ni artefactos de texto que obliguen a regenerarlo. Los modelos de texto a vídeo actuales no intentan resolver la mayoría de estos problemas. Los agentes que los envuelven o lo hacen mal o los omiten por completo. El objetivo de este benchmark es medir exactamente esa brecha.

Un reflejo de la producción publicitaria real

Cada brief está estructurado como lo redacta nuestro equipo creativo interno para producción: descripción del producto, directrices de marca, intención narrativa (problema-solución / antes-después / demostración / testimonio / estilo de vida), restricciones de la plataforma (duración, relación de aspecto, textos obligatorios en pantalla) y los recursos de entrada en los que el agente debe basarse — logotipo, imagen de referencia del producto, referencia del personaje. El agente recibe el brief y devuelve un MP4 terminado. Evaluamos el MP4 como un director creativo evalúa una campaña antes de aprobarla: no frente a una lista de funciones, sino según si el resultado está listo para publicarse.

El conjunto de briefs abarca todos los patrones principales de producción publicitaria, además de pruebas de estrés dirigidas a los aspectos más difíciles de la producción multiescena: narrativa con hilo conductor, coherencia del personaje, reutilización de recursos de marca, tipografía estructurada de CTA y cumplimiento del arco persuasivo. Todos los briefs usan marcas ficticias y maquetas de producto generadas con IA para evitar la propiedad intelectual de clientes reales. El conjunto completo está prerregistrado — publicado en un commit etiquetado antes de generar un solo resultado —, de modo que ningún sistema del benchmark pudo ajustarse a los briefs concretos.

Eje 1 — Agente contra Agente (Creatify frente a HeyGen V3 y Luma)

Comparación estrictamente entre agentes. Ambos sistemas reciben el mismo brief y producen un anuncio terminado; los jueces LLM (Opus 4.7 + GPT-5) ven el brief y puntúan 8 dimensiones de la rúbrica publicitaria. Tasa de victorias = % de pares que Creatify o HeyGen ganan claramente (consenso entre ambos jueces + ambas posiciones). Puntuaciones por dimensión = puntuación media que los jueces dieron a cada sistema en todos los pares (corregida según el indicador de posición).

Eje 2 — Calidad del anuncio (Creatify frente a modelos T2V sin procesar)

Comparación por pares con varios jueces, que ven el brief y puntúan 8 dimensiones de la rúbrica publicitaria. Las puntuaciones por dimensión que se muestran a continuación son medias por sistema en todos los pares en los que apareció. Los agentes de la competencia (HeyGen V3, Luma) se evalúan por separado en el eje 1; este eje solo incluye Creatify y los modelos fundacionales de texto a vídeo sin procesar.

Dos variantes de referencia por modelo fundacional. Una escena refleja cómo se usan realmente hoy Veo 3.1, Kling 3.0 y Seedance 2.0: el brief se convierte en un único prompt y el modelo devuelve un clip de 8–12 s. Multiescena es una variante más justa que creamos para los modelos de referencia: un LLM descompone el brief en prompts por escena (el mismo paso de descomposición que Creatify Agent realiza internamente), cada escena se genera por separado y los clips se concatenan.

Eje 3 — Calidad de producción del vídeo (Creatify frente a modelos T2V sin procesar)

El eje 3 evalúa el vídeo terminado como entregable, independientemente de lo bien que responda al brief. Dos mediciones complementarias: (1) una puntuación de alucinaciones y defectos visuales de Claude Opus 4.7 vision sobre 15 fotogramas por vídeo; y (2) comprobaciones deterministas de cumplimiento técnico sobre el MP4 renderizado — duración, relación de aspecto, audio y tipografía en pantalla. Ambas se combinan en la puntuación del eje 3, con el componente de alucinaciones ponderado 3×.

Puntuación de alucinaciones y defectos visuales (0–10, menor es mejor)

Se envían a Claude Opus 4.7 15 fotogramas equidistantes por vídeo, con la descripción del producto del brief como referencia. Seis categorías puntuadas de 0–10 (más alto = más defectos). Tasa de aprobación = proporción de briefs con puntuación < 3.0 (umbral de calidad de producción).

Acabado de producción &mdash; calidad estructural determinista (0&ndash;1)

Cuatro mediciones sin LLM sobre el MP4 renderizado. Cada celda es una puntuación de calidad de 0–1 promediada en todos los briefs del conjunto. Precisión de duración: ±0.5 s del objetivo · Relación de aspecto: dentro del 5% · Cohesión del audio: contiene una pista de audio · Precisión del texto renderizado: proporción de textos obligatorios en pantalla detectados (OCR + Claude vision).

Conclusión

1. Creatify gana con claridad a todos los agentes de la competencia. Enfrentamientos directos del eje 1: el modo Pro logra un 85% de victorias y el modo Lite un 76% frente al resto. El competidor más fuerte (Luma) solo gana el 34% de sus pares entre agentes; HeyGen, el 0%.

2. Creatify domina a los modelos T2V sin procesar en calidad publicitaria. Eje 2: el modo Pro logra un 95% de victorias y el modo Lite un 89%. El mejor modelo fundacional sin procesar se queda en el 4%.

3. Creatify produce el vídeo entregable más limpio. Puntuación de calidad de producción del modo Pro 0.990 · modo Lite 0.965 · mejor referencia ajena a Creatify 0.922 (Luma). Puntuación de alucinaciones del modo Pro 1.90 · modo Lite 2.85 · T2V multiescena sin procesar 3.65–3.85.

4. El modo Pro supera al modo Lite en los ejes de enfrentamiento directo. La revisión de calidad por escena del modo Pro añade +9 puntos de tasa de victorias en el eje 1, +7 puntos de tasa de victorias en el eje 2, −0.95 en defectos por alucinaciones y +2.5 puntos de calidad de producción — con un coste ~2× y una latencia ~2×.

5. Creatify entrega un anuncio listo para publicar, no un clip en bruto. Lite a $3/vídeo y Pro a $6/vídeo — cada uno produce un anuncio de marca totalmente montado. Cohesión de audio completa, duración ajustada y un 89–96% del texto en pantalla renderizado correctamente, frente al 15–21% de los modelos T2V sin procesar.

El benchmark es de código abierto. Todos los briefs, todos los veredictos originales de los jueces, todos los vídeos generados y todos los scripts de agregación están publicados bajo Apache 2.0 en github.com/creatify-ai/VABench.

¿Qué sigue?

La v2 ampliará el benchmark en dos direcciones. Primero, más briefs que cubran patrones publicitarios específicos de cada sector: e-commerce, instalación de apps, SaaS B2B, salud y educación. Segundo, una línea de evaluación de ciclo cerrado que mida el valor de la revisión en varios turnos. También estamos incorporando señales a nivel de campaña (CTR, ROAS) en un AdReward específico del dominio para impulsar una alineación tipo DPO de los modelos I2V subyacentes.

Agradecimientos

Creatify Agent y este benchmark se apoyan en el trabajo de una comunidad de investigadores dedicados al vídeo multiagente, la evaluación de la calidad de vídeo, las rúbricas de eficacia publicitaria y el control de calidad de ciclo cerrado. Líneas destacadas en las que nos basamos:

• Generación de vídeo multiagente: Mora, VideoDirectorGPT, FilmAgent, StoryAgent, VISTA.
• Benchmarks de calidad de vídeo: VBench / VBench-2.0; VideoGen-Eval; Artificial Analysis Video Arena.
• Modelado de recompensas para vídeo: VideoReward / Flow-DPO, UnifiedReward.
• Rúbricas específicas de publicidad: Springboards Creativity Benchmark, AdsQA, el Pitt Ads Dataset.
• Control de calidad de ciclo cerrado: Meta-Harness; Learning Beyond Gradients.