VideoAdAgent Bench v1

Synthèse — tous les volets en scores de 0–1

Pourquoi nous avons créé ce benchmark

Jusqu'à présent, aucun benchmark public n'évaluait les systèmes vidéo IA sur la tâche de bout en bout qui consiste à produire une publicité finie. Les benchmarks vidéo existants — VBench, Video Arena, EvalCrafter — mesurent la fidélité image par image sur des sorties text-to-video en un seul plan. Aucun ne mesure si le résultat fonctionnerait comme une publicité : force de l'accroche, alignement avec la marque, typographie à l'écran, coût des hallucinations, finition de la production. VideoAdAgent Bench comble ce manque.

Un superbe clip de huit à douze secondes n'est pas une publicité. Une publicité doit présenter la marque sous le bon angle, afficher le nom du produit sans déformer les lettres, construire un arc narratif avec une accroche dans les trois premières secondes, respecter une durée et un format fixes, intégrer une voix off ou de la musique, et passer un contrôle qualité de production sans hallucinations sur le produit, défauts anatomiques ou artefacts de texte qui obligeraient à tout régénérer. Les modèles text-to-video actuels ne s'attaquent pas à la plupart de ces problèmes. Les agents qui les encapsulent les traitent mal, ou les ignorent complètement. L'objectif de ce benchmark est de mesurer précisément cet écart.

Reproduire la vraie production publicitaire

Chaque brief est structuré comme notre équipe créative interne en rédige un pour la production : description du produit, charte de marque, intention narrative (problème-solution / avant-après / démo / témoignage / lifestyle), contraintes de plateforme (durée, format, textes obligatoires à l'écran) et ressources sur lesquelles l'agent doit s'appuyer — logo, image de référence du produit, référence de persona. L'agent reçoit le brief et renvoie un MP4 fini. Nous évaluons le MP4 comme un directeur de création évalue une campagne avant validation : non pas selon une liste de fonctionnalités, mais selon que le résultat est publiable ou non.

L'ensemble des briefs couvre tous les grands schémas de production publicitaire, ainsi que des tests de résistance ciblés sur les aspects les plus difficiles de la production multi-scènes : storytelling ancré, cohérence des personas, réutilisation des ressources de marque, typographie structurée des CTA et respect de l'arc persuasif. Chaque brief utilise des marques fictives et des maquettes de produits générées par IA pour éviter toute propriété intellectuelle de vrais clients. L'ensemble complet est pré-enregistré — publié dans un commit tagué avant la génération du moindre résultat —, si bien qu'aucun système du benchmark n'a pu être optimisé pour ces briefs.

Volet 1 — Agent contre Agent (Creatify vs HeyGen V3, Luma)

Comparaison strictement entre agents. Les deux systèmes reçoivent le même brief et produisent une publicité finie ; des juges LLM (Opus 4.7 + GPT-5) voient le brief et notent 8 dimensions de la grille publicitaire. Taux de victoire = % de duels que Creatify ou HeyGen remporte nettement (consensus entre les deux juges + les deux positions). Scores par dimension = score moyen attribué par les juges à chaque système sur l'ensemble des duels (corrigé de l'inversion via l'indicateur de position).

Volet 2 — Qualité publicitaire (Creatify vs modèles T2V bruts)

Comparaison par paires multi-juges, où les juges voient le brief et notent 8 dimensions de la grille publicitaire. Les scores par dimension ci-dessous sont des moyennes par système sur tous les duels auxquels il a participé. Les agents concurrents (HeyGen V3, Luma) sont évalués séparément dans le volet 1 ; ce volet ne comprend que Creatify et les modèles de fondation text-to-video bruts.

Deux variantes de référence par modèle de fondation. La variante scène unique reproduit l'usage actuel de Veo 3.1, Kling 3.0 et Seedance 2.0 : le brief devient un seul prompt, et le modèle renvoie un clip de 8–12 s. La variante multi-scènes est une version plus équitable que nous avons conçue pour les modèles de référence : un LLM décompose le brief en prompts par scène (la même étape de décomposition que Creatify Agent effectue en interne), chaque scène est générée séparément, puis les clips sont assemblés.

Volet 3 — Qualité de production vidéo (Creatify vs modèles T2V bruts)

Le volet 3 évalue la vidéo finie en tant que livrable, indépendamment de sa réponse au brief. Deux mesures complémentaires : (1) un score d'hallucinations & de défauts visuels attribué par Claude Opus 4.7 vision sur 15 images par vidéo ; et (2) des contrôles déterministes de conformité technique sur le MP4 rendu — durée, format, audio, typographie à l'écran. Ces deux mesures sont combinées dans le score du volet 3, la composante hallucinations étant pondérée 3×.

Score d'hallucinations et de défauts visuels (0–10, plus bas = meilleur)

15 images régulièrement espacées par vidéo envoyées à Claude Opus 4.7, avec la description du produit du brief comme référence. Six catégories notées de 0–10 (plus haut = plus de défauts). Taux de réussite = part des briefs obtenant un score < 3.0 (seuil de qualité production).

Finition de production &mdash; qualité structurelle déterministe (0&ndash;1)

Quatre mesures sans LLM sur le MP4 rendu. Chaque cellule est un score de qualité de 0–1, moyenné sur tous les briefs de l'ensemble. Précision de la durée : ±0.5 s par rapport à la cible · Format : à 5 % près · Cohérence audio : contient une piste audio · Précision du rendu du texte : proportion des textes obligatoires détectés à l'écran (OCR + Claude vision).

Conclusion

1. Creatify l'emporte nettement face à tous les agents concurrents. Volet 1 en confrontation directe : taux de victoire de 85 % pour le mode Pro et de 76 % pour le mode Lite face aux autres. Le concurrent le plus solide (Luma) ne remporte que 34 % de ses duels entre agents ; HeyGen 0 %.

2. Creatify domine les modèles T2V bruts en qualité publicitaire. Volet 2 : taux de victoire de 95 % pour le mode Pro, 89 % pour le mode Lite. Le meilleur modèle de fondation brut plafonne à 4 %.

3. Creatify produit le livrable vidéo le plus propre. Score de qualité de production du mode Pro 0.990 · mode Lite 0.965 · meilleur système hors Creatify 0.922 (Luma). Score d'hallucinations du mode Pro 1.90 · mode Lite 2.85 · T2V bruts multi-scènes 3.65–3.85.

4. Le mode Pro devance le mode Lite sur les volets de confrontation directe. Le contrôle qualité scène par scène du mode Pro ajoute +9 points de taux de victoire au volet 1, +7 points de taux de victoire au volet 2, −0.95 défaut d'hallucination et +2.5 points de qualité de production — pour un coût ~2× et une latence ~2× plus élevés.

5. Creatify livre une publicité prête à publier, pas un simple clip brut. Lite à 3 $/vidéo et Pro à 6 $/vidéo — chacun produisant une publicité de marque entièrement assemblée. Cohérence audio totale, durée respectée au plus près, 89–96 % des textes à l'écran correctement rendus, contre 15–21 % pour les modèles T2V bruts.

Le benchmark est open source. Chaque brief, chaque verdict brut des juges, chaque vidéo produite et chaque script d'agrégation sont publiés sous licence Apache 2.0 sur github.com/creatify-ai/VABench.

Et Maintenant ?

La v2 étendra le benchmark selon deux axes. D'abord, davantage de briefs couvrant des schémas publicitaires propres à chaque secteur : e-commerce, installation d'applications, SaaS B2B, santé, éducation. Ensuite, un volet en boucle fermée qui mesure la valeur des révisions en plusieurs tours. Nous intégrons également des signaux au niveau des campagnes (CTR, ROAS) dans un AdReward spécifique au domaine, afin de piloter un alignement de type DPO des modèles I2V sous-jacents.

Remerciements

Creatify Agent et ce benchmark s'appuient sur les travaux d'une communauté de chercheurs spécialisés dans la vidéo multi-agents, l'évaluation de la qualité vidéo, les grilles d'efficacité publicitaire et l'assurance qualité en boucle fermée. Principales pistes dont nous nous sommes inspirés :

• Génération vidéo multi-agents : Mora, VideoDirectorGPT, FilmAgent, StoryAgent, VISTA.
• Benchmarks de qualité vidéo : VBench / VBench-2.0 ; VideoGen-Eval ; Artificial Analysis Video Arena.
• Modélisation de la récompense pour la vidéo : VideoReward / Flow-DPO, UnifiedReward.
• Grilles spécifiques à la publicité : Springboards Creativity Benchmark, AdsQA, le Pitt Ads Dataset.
• Assurance qualité en boucle fermée : Meta-Harness ; Learning Beyond Gradients.