VideoAdAgent Bench v1
Von Creatify Research · Offener Benchmark
Überblick
VideoAdAgent Bench ist eine offene Evaluierung für KI-Agenten, die Videoanzeigen von Anfang bis Ende produzieren. Die stärksten Videomodelle von heute — Veo 3.1, Kling 3.0, Seedance 2.0 — erzeugen beeindruckende kurze Clips, doch ein Clip ist noch keine Anzeige. Der richtige Test ist, ob ein Creative Director das Ergebnis veröffentlichen würde: markenkonsistente Produktinszenierung, Erzählbogen, Persona-Casting, stimmiger Ton, Typografie im Bild. Wir haben diesen Benchmark entwickelt, um genau diese Lücke zu messen – bewertet nach demselben Kriterienkatalog, mit dem unser Team Anzeigen in der Produktion freigibt.
In den direkten Vergleichen der Anzeigenqualität gewinnt Creatify Agent · Pro-Modus 95 % der Paarungen gegen reine Foundation-Model-Baselines (Single-Scene und Multi-Scene) und 85 % gegen konkurrierende Agenten, erzielt saubere 1.90 im Halluzinations-Kriterienkatalog der Produktion (vs. Lite 2.85, Luma 3.20, reine Foundation-Model-Multi-Scene 3.65–3.85, HeyGen 4.40) und erreicht den höchsten Produktionsqualitäts-Score (0.990) im Feld. Beide Creatify-Stufen belegen Platz 1 und 2 im Gesamt-Leaderboard.
Creatify Agent + alle verfügbaren Konkurrenten · 3 Evaluierungszweige (Agent vs. Agent, Anzeigenqualität, Produktionsqualität) · paarweiser Vergleich mit mehreren Juroren (Claude Opus 4.7 + GPT-5, stabiler Konsens bei Positionstausch) · Bewertung von Halluzinationen & visuellen Fehlern über 15 Frames (Claude Opus 4.7 Vision) · deterministische strukturelle Konformität (Dauer, Seitenverhältnis, Audio, Text im Bild per OCR).
0.901
Bester Gesamtwert
Creatify Agent · Pro-Modus · Kombination aller drei Evaluierungszweige
87%
Zweig 1 — Agent vs. Agent
Gewinnquote des Pro-Modus im direkten Vergleich mit HeyGen V3 und Luma
95%
Zweig 2 — Anzeigenqualität
Gewinnquote des Pro-Modus im direkten Vergleich mit Multi-Scene-Foundation-Model-Baselines
0.855
Zweig 3 — Produktionsqualität
Produktions-Score des Pro-Modus (strukturelle Konformität + Halluzinations-Score)
Überblick — alle Zweige als Scores von 0–1
| System | Gesamtwert | Score Zweig 1 | Score Zweig 2 | Score Zweig 3 | Erfolgsquote | Kosten / Video | Kosten / 30 s | p50-Latenz |
|---|---|---|---|---|---|---|---|---|
| Creatify Agent · Pro-Modus | 0.901 | 0.732 | 0.775 | 0.855 | 100% | $6.00 | $5.99 | 1260s |
| Creatify Agent · Lite-Modus | 0.836 | 0.716 | 0.757 | 0.778 | 100% | $3.00 | $2.97 | 556s |
| Luma Agent | 0.585 | 0.580 | 0.603 | 0.741 | 100% | $8.24 | $10.95 | 4200s |
| HeyGen V3 Agent | 0.327 | 0.358 | 0.378 | 0.609 | 100% | $0.87 | $1.18 | 681s |
| Seedance 2.0 (Multi-Scene) | 0.312 | — | 0.337 | 0.588 | 85% | $2.40 | $4.76 | 161s |
| Kling 3.0 (Multi-Scene) | 0.301 | — | 0.365 | 0.585 | 100% | $4.99 | $5.41 | 80s |
| Kling 3.0 (Single-Scene) | 0.296 | — | 0.302 | 0.593 | 100% | $2.00 | $5.98 | 81s |
| Veo 3.1 (Multi-Scene) | 0.287 | — | 0.362 | 0.549 | 100% | $12.10 | $19.11 | 85s |
| Seedance 2.0 (Single-Scene) | 0.285 | — | 0.349 | 0.545 | 100% | $1.20 | $2.99 | 124s |
| Veo 3.1 (Single-Scene) | 0.265 | — | 0.314 | 0.530 | 100% | $4.00 | $15.00 | 81s |
Warum wir diesen Benchmark entwickelt haben
Bisher gab es keinen öffentlichen Benchmark, der KI-Videosysteme an der durchgängigen Aufgabe misst, eine fertige Anzeige zu produzieren. Bestehende Video-Benchmarks — VBench, Video Arena, EvalCrafter — messen die Bildtreue einzelner Frames bei Text-to-Video-Ausgaben aus einer Einstellung. Keiner von ihnen misst, ob das Ergebnis als Anzeige funktionieren würde: Stärke des Hooks, Markentreue, Typografie im Bild, Kosten von Halluzinationen, Produktionsfeinschliff. VideoAdAgent Bench schließt diese Lücke.
Ein beeindruckender Clip von acht bis zwölf Sekunden ist noch keine Anzeige. Eine Anzeige muss eine Marke im richtigen Licht zeigen, den Produktnamen ohne verstümmelte Buchstaben darstellen, einen Erzählbogen mit einem Hook in den ersten drei Sekunden aufbauen, eine feste Dauer und ein festes Seitenverhältnis einhalten, Voiceover oder Musik transportieren und eine QA-Prüfung in der Produktion bestehen – ohne Produkt-Halluzinationen, anatomische Fehler oder Textartefakte, die einen neuen Durchlauf erzwingen würden. Die meisten dieser Probleme gehen heutige Text-to-Video-Modelle gar nicht erst an. Die Agenten, die auf ihnen aufsetzen, lösen sie entweder schlecht oder lassen sie ganz weg. Genau diese Lücke soll dieser Benchmark messen.
Nah an der echten Anzeigenproduktion
Jedes Briefing ist so aufgebaut, wie unser internes Kreativteam eines für die Produktion schreibt: Produktbeschreibung, Markenrichtlinien, erzählerische Absicht (Problem-Lösung / Vorher-Nachher / Demo / Testimonial / Lifestyle), Plattformvorgaben (Dauer, Seitenverhältnis, Pflichttexte im Bild) und die Input-Assets, auf die sich der Agent stützen soll — Logo, Produkt-Referenzbild, Persona-Referenz. Der Agent erhält das Briefing und liefert eine fertige MP4-Datei. Wir bewerten die MP4 so, wie ein Creative Director eine Kampagne vor der Freigabe bewertet: nicht anhand einer Feature-Checkliste, sondern danach, ob das Ergebnis veröffentlichungsreif ist.
Die Briefings decken alle wichtigen Muster der Anzeigenproduktion ab, ergänzt um gezielte Stresstests entlang der schwierigsten Achsen der Multi-Scene-Produktion: Anker-Storytelling, Persona-Konsistenz, Wiederverwendung von Marken-Assets, strukturierte CTA-Typografie und Einhaltung des Überzeugungsbogens. Alle Briefings verwenden fiktive Marken und KI-generierte Produkt-Mockups, um kein geistiges Eigentum echter Kunden zu nutzen. Das gesamte Set ist vorregistriert — vor der Generierung des ersten Outputs in einem getaggten Commit veröffentlicht —, sodass kein System im Benchmark auf die konkreten Briefings abgestimmt werden konnte.
Zweig 1 — Agent vs. Agent (Creatify vs. HeyGen V3, Luma)
Ein reiner Vergleich von Agent gegen Agent. Beide Systeme erhalten dasselbe Briefing und produzieren eine fertige Anzeige; LLM-Juroren (Opus 4.7 + GPT-5) sehen das Briefing und bewerten 8 Dimensionen des Anzeigen-Kriterienkatalogs. Gewinnquote = Anteil der Paarungen in %, die Creatify bzw. HeyGen eindeutig gewinnt (Konsens beider Juroren + beider Sitzpositionen). Scores pro Dimension = durchschnittlicher Score, den die Juroren jedem System über alle Paarungen gegeben haben (per Positions-Flag zurückgetauscht).
| System | Gewinnquote | Anzeigenwirkung | Markentreue | Visuelle Qualität | Bewegungsqualität | Stärke des Hooks | Klarheit des CTA | Erzählbogen | Gesamtpräferenz |
|---|---|---|---|---|---|---|---|---|---|
| Creatify Agent · Pro-Modus | 87% | 0.765 | 0.806 | 0.785 | 0.738 | 0.720 | 0.683 | 0.786 | 0.732 |
| Creatify Agent · Lite-Modus | 80% | 0.744 | 0.775 | 0.794 | 0.748 | 0.735 | 0.630 | 0.773 | 0.716 |
| Luma Agent | 34% | 0.683 | 0.713 | 0.771 | 0.719 | 0.698 | 0.664 | 0.690 | 0.580 |
| HeyGen V3 Agent | 0% | 0.495 | 0.485 | 0.709 | 0.646 | 0.602 | 0.482 | 0.485 | 0.358 |
Zweig 2 — Anzeigenqualität (Creatify vs. reine T2V-Baselines)
Paarweiser Vergleich mit mehreren Juroren, die das Briefing sehen und 8 Dimensionen des Anzeigen-Kriterienkatalogs bewerten. Die Scores pro Dimension unten sind Durchschnittswerte je System über alle Paarungen, in denen es vorkam. Konkurrierende Agenten (HeyGen V3, Luma) werden separat in Zweig 1 bewertet; dieser Zweig umfasst nur Creatify und die reinen Text-to-Video-Foundation-Model-Baselines.
Zwei Baseline-Varianten pro Foundation Model. Single-Scene bildet ab, wie Veo 3.1, Kling 3.0 und Seedance 2.0 heute tatsächlich genutzt werden: Das Briefing wird zu einem einzigen Prompt, das Modell liefert einen Clip von 8–12 s. Multi-Scene ist eine fairere Variante, die wir für die Baselines gebaut haben: Ein LLM zerlegt das Briefing in Prompts pro Szene (derselbe Zerlegungsschritt, den Creatify Agent intern ausführt), jede Szene wird separat generiert, und die Clips werden aneinandergefügt.
| System | Gewinnquote | Anzeigenwirkung | Markentreue | Visuelle Qualität | Bewegungsqualität | Stärke des Hooks | Klarheit des CTA | Erzählbogen | Gesamtpräferenz |
|---|---|---|---|---|---|---|---|---|---|
| Creatify Agent · Pro-Modus | 95% | 0.781 | 0.823 | 0.796 | 0.739 | 0.740 | 0.694 | 0.791 | 0.775 |
| Creatify Agent · Lite-Modus | 89% | 0.767 | 0.801 | 0.794 | 0.742 | 0.750 | 0.665 | 0.783 | 0.757 |
| Kling 3.0 (Multi-Scene) | 2% | 0.465 | 0.488 | 0.734 | 0.678 | 0.590 | 0.302 | 0.577 | 0.365 |
| Veo 3.1 (Multi-Scene) | 2% | 0.462 | 0.487 | 0.747 | 0.693 | 0.571 | 0.306 | 0.552 | 0.362 |
| Seedance 2.0 (Single-Scene) | 2% | 0.467 | 0.471 | 0.746 | 0.734 | 0.499 | 0.311 | 0.531 | 0.349 |
| Seedance 2.0 (Multi-Scene) | 4% | 0.439 | 0.458 | 0.756 | 0.697 | 0.596 | 0.295 | 0.480 | 0.337 |
| Veo 3.1 (Single-Scene) | 0% | 0.415 | 0.417 | 0.720 | 0.682 | 0.513 | 0.262 | 0.482 | 0.314 |
| Kling 3.0 (Single-Scene) | 0% | 0.417 | 0.426 | 0.669 | 0.648 | 0.470 | 0.297 | 0.466 | 0.302 |
Zweig 3 — Videoproduktionsqualität (Creatify vs. reine T2V-Baselines)
Zweig 3 bewertet das fertige Video als Deliverable – unabhängig davon, wie gut es das Briefing erfüllt. Zwei sich ergänzende Messungen: (1) ein Score für Halluzinationen & visuelle Fehler per Claude Opus 4.7 Vision auf 15 Frames pro Video und (2) deterministische Prüfungen der mechanischen Konformität der gerenderten MP4 — Dauer, Seitenverhältnis, Audio, Typografie im Bild. Beides fließt in den Score von Zweig 3 ein, wobei die Halluzinationskomponente 3× gewichtet wird.
Score für Halluzinationen & visuelle Fehler (0–10, niedriger ist besser)
15 gleichmäßig verteilte Frames pro Video werden mit der Produktbeschreibung aus dem Briefing als Referenz an Claude Opus 4.7 geschickt. Sechs Kategorien werden mit 0–10 bewertet (höher = mehr Fehler). Bestehensquote = Anteil der Briefings mit einem Score < 3.0 (Schwelle für Produktionsreife).
| System | Gesamtwert ↓ | Bestehensquote ↑ | Produkttreue ↓ | Textqualität ↓ | Objekt-Halluzin. ↓ | Physik-Verstöße ↓ | Anatomie ↓ |
|---|---|---|---|---|---|---|---|
| Creatify Agent · Pro-Modus | 1.90 | 90% | 1.75 | 2.00 | 1.20 | 0.90 | 0.70 |
| Creatify Agent · Lite-Modus | 2.85 | 50% | 2.70 | 2.80 | 2.15 | 1.35 | 0.95 |
| Luma Agent | 3.20 | 45% | 2.50 | 3.05 | 2.40 | 1.65 | 1.10 |
| Kling 3.0 (Single-Scene) | 3.60 | 35% | 3.15 | 2.95 | 3.00 | 2.30 | 1.65 |
| Seedance 2.0 (Multi-Scene) | 3.65 | 35% | 4.35 | 2.12 | 1.88 | 1.12 | 0.76 |
| Seedance 2.0 (Single-Scene) | 3.80 | 25% | 3.35 | 3.95 | 2.95 | 1.90 | 1.10 |
| Kling 3.0 (Multi-Scene) | 3.80 | 35% | 3.95 | 3.70 | 3.00 | 1.65 | 1.55 |
| Veo 3.1 (Multi-Scene) | 3.85 | 30% | 4.15 | 3.20 | 2.50 | 1.70 | 1.65 |
| Veo 3.1 (Single-Scene) | 4.00 | 20% | 3.70 | 3.40 | 3.30 | 2.35 | 1.60 |
| HeyGen V3 Agent | 4.40 | 20% | 4.65 | 4.00 | 2.55 | 1.45 | 1.05 |
Produktionsfeinschliff — deterministische strukturelle Qualität (0–1)
Vier Messungen ohne LLM an der gerenderten MP4. Jede Zelle ist ein Qualitäts-Score von 0–1, gemittelt über alle Briefings des Sets. Genauigkeit der Dauer: ±0.5s vom Ziel · Seitenverhältnis: innerhalb von 5% · Audio-Kohärenz: enthält eine Audiospur · Genauigkeit der Textdarstellung: Anteil der erkannten Pflichttexte im Bild (OCR + Claude Vision).
| System | Genauigkeit der Dauer | Seitenverhältnis | Audio | Text-Rendering | Produktion Ø |
|---|---|---|---|---|---|
| Creatify Agent · Pro-Modus | 1.000 | 1.000 | 1.000 | 0.958 | 0.990 |
| Creatify Agent · Lite-Modus | 0.969 | 1.000 | 1.000 | 0.892 | 0.965 |
| Luma Agent | 0.880 | 1.000 | 0.950 | 0.858 | 0.922 |
| HeyGen V3 Agent | 0.130 | 1.000 | 1.000 | 0.892 | 0.755 |
| Kling 3.0 (Multi-Scene) | 0.715 | 0.050 | 1.000 | 0.150 | 0.479 |
| Kling 3.0 (Single-Scene) | 0.000 | 0.500 | 1.000 | 0.300 | 0.450 |
| Seedance 2.0 (Multi-Scene) | 0.588 | 1.000 | 0.000 | 0.206 | 0.449 |
| Veo 3.1 (Multi-Scene) | 0.237 | 1.000 | 0.000 | 0.175 | 0.353 |
| Veo 3.1 (Single-Scene) | 0.000 | 1.000 | 0.000 | 0.275 | 0.319 |
| Seedance 2.0 (Single-Scene) | 0.000 | 1.000 | 0.000 | 0.275 | 0.319 |
Gesamtwert (0–1, höher ist besser). Kombiniert Zweig 2 (Anzeigenqualität) und Zweig 3 (Videoproduktionsqualität). Creatify + reine T2V: 0.5 × Zweig 2 overall_preference + 0.5 × Score Zweig 3. HeyGen V3 (keine Daten für Zweig 2/3): 0.5 × Score Zweig 1 + 0.5 × Produktionsfeinschliff.
Zweig 1 — Leistungsfähigkeit (Gewinnquote %). Anteil der Paarungen, die Creatify gegen einen agentischen Konkurrenten eindeutig gewinnt. Zwei Juroren (Claude Opus 4.7 + GPT-5), mit Positionstausch; nur Konsensurteile zählen.
Zweig 2 — Anzeigenqualität (Gewinnquote %). Dasselbe paarweise Protokoll, gepaart mit den Baselines Veo 3.1, Kling 3.0 und Seedance 2.0.
Zweig 3 — Videoproduktionsqualität (0–1). Gewichtete Kombination aus (a) halluzinationsfreiem Score = 1 − (Halluzinations-Gesamtwert / 10) und (b) Produktionsfeinschliff — vier Messungen ohne LLM an der gerenderten MP4 (Genauigkeit der Dauer, Seitenverhältnis, Audio, Textdarstellung). Halluzinationen werden 3× gewichtet, weil sie über „veröffentlichungsreif oder nicht" entscheiden.
Kosten / 30 s = Kosten normiert auf ein 30-Sekunden-Deliverable (Kosten ÷ tatsächliche Ausgabedauer × 30) — ein fairer Vergleich, da T2V-Baselines bei 8–12 s enden, echte Anzeigen aber 15–30 s brauchen.
Fazit
1. Creatify gewinnt klar gegen jeden konkurrierenden Agenten. Zweig 1 im direkten Vergleich: Pro-Modus mit 85% Gewinnquote und Lite-Modus mit 76% gegen das Feld. Der stärkste Konkurrent (Luma) gewinnt nur 34% seiner Agent-vs.-Agent-Paarungen; HeyGen 0%.
2. Creatify dominiert reine T2V-Baselines bei der Anzeigenqualität. Zweig 2: Pro-Modus 95% Gewinnquote, Lite-Modus 89%. Die beste reine Foundation-Model-Baseline kommt auf 4%.
3. Creatify liefert das sauberste Video-Deliverable. Produktionsqualitäts-Score Pro-Modus 0.990 · Lite-Modus 0.965 · beste Nicht-Creatify-Baseline 0.922 (Luma). Halluzinations-Score Pro-Modus 1.90 · Lite-Modus 2.85 · reine T2V Multi-Scene 3.65–3.85.
4. Der Pro-Modus schlägt den Lite-Modus in den direkten Vergleichen. Das QA-Review pro Szene im Pro-Modus bringt +9 Punkte Gewinnquote in Zweig 1, +7 Punkte Gewinnquote in Zweig 2, −0.95 Halluzinationsfehler und +2.5 Punkte Produktionsqualität — bei ~2× Kosten und ~2× Latenz.
5. Creatify liefert eine veröffentlichungsreife Anzeige, keinen Roh-Clip. Lite für $3/Video und Pro für $6/Video — jeweils eine komplett zusammengesetzte Markenanzeige. Vollständige Audio-Kohärenz, präzise eingehaltene Dauer, 89–96% korrekt dargestellter Text im Bild gegenüber 15–21% bei reinen T2V-Baselines.
Der Benchmark ist Open Source. Jedes Briefing, jedes Roh-Urteil der Juroren, jedes Output-Video und jedes Aggregationsskript ist unter Apache 2.0 auf github.com/creatify-ai/VABench veröffentlicht.
Was als nächstes kommt
v2 wird den Benchmark entlang zweier Achsen ausbauen. Erstens mehr Briefings zu branchenspezifischen Anzeigenmustern: E-Commerce, App-Installationen, B2B-SaaS, Gesundheitswesen, Bildung. Zweitens ein Closed-Loop-Track, der den Wert mehrstufiger Überarbeitungen misst. Außerdem fließen Kampagnensignale (CTR, ROAS) in einen domänenspezifischen AdReward ein, um ein DPO-artiges Alignment der zugrunde liegenden I2V-Modelle voranzutreiben.
Danksagungen
Creatify Agent und dieser Benchmark bauen auf der Arbeit einer Community von Forschenden auf, die sich mit Multi-Agenten-Video, Bewertung von Videoqualität, Kriterien für Anzeigenwirkung und Closed-Loop-Qualitätssicherung beschäftigen. Wichtige Ansätze, auf die wir zurückgegriffen haben:
- Multi-Agenten-Videogenerierung: Mora, VideoDirectorGPT, FilmAgent, StoryAgent, VISTA.
- Benchmarks für Videoqualität: VBench / VBench-2.0; VideoGen-Eval; Artificial Analysis Video Arena.
- Reward-Modellierung für Video: VideoReward / Flow-DPO, UnifiedReward.
- Anzeigenspezifische Bewertungskriterien: Springboards Creativity Benchmark, AdsQA, das Pitt Ads Dataset.
- Closed-Loop-Qualitätssicherung: Meta-Harness; Learning Beyond Gradients.