VideoAdAgent Bench v1

Ringkasan — semua cabang sebagai skor 0–1

Mengapa kami membuat benchmark ini

Hingga saat ini, belum ada benchmark publik yang menilai sistem video AI pada tugas end-to-end memproduksi iklan jadi. Benchmark video yang ada — VBench, Video Arena, EvalCrafter — mengukur ketepatan per frame pada output text-to-video satu shot. Tidak satu pun yang mengukur apakah hasilnya dapat berfungsi sebagai iklan: kekuatan hook, keselarasan brand, tipografi di layar, biaya halusinasi, polesan produksi. VideoAdAgent Bench mengisi kesenjangan tersebut.

Klip delapan hingga dua belas detik yang memukau bukanlah iklan. Iklan harus menampilkan brand dari sudut yang tepat, merender nama produk tanpa huruf yang kacau, membangun alur naratif dengan hook dalam tiga detik pertama, memenuhi durasi dan rasio aspek yang ditentukan, membawa voiceover atau musik, dan lolos tinjauan QA produksi tanpa halusinasi produk, kesalahan anatomi, atau artefak teks yang memaksa pembuatan ulang. Model text-to-video saat ini tidak mencoba menyelesaikan sebagian besar masalah ini. Agen yang membungkusnya entah mencobanya dengan buruk, atau melewatinya sama sekali. Tujuan benchmark ini adalah mengukur kesenjangan itu dengan tepat.

Mencerminkan produksi iklan nyata

Setiap brief disusun seperti cara tim kreatif internal kami menulisnya untuk produksi: deskripsi produk, panduan brand, maksud naratif (masalah-solusi / sebelum-sesudah / demo / testimoni / gaya hidup), batasan platform (durasi, rasio aspek, teks wajib di layar), dan aset input yang harus menjadi dasar agen — logo, gambar referensi produk, referensi persona. Agen menerima brief dan mengembalikan MP4 jadi. Kami menilai MP4 tersebut seperti creative director menilai kampanye sebelum disetujui: bukan berdasarkan daftar periksa fitur, melainkan apakah hasilnya layak dirilis.

Kumpulan brief mencakup setiap pola utama produksi iklan ditambah uji tekanan yang ditargetkan pada aspek tersulit produksi multi-scene: storytelling berjangkar, konsistensi persona, penggunaan ulang aset brand, tipografi CTA terstruktur, dan kepatuhan alur persuasi. Setiap brief menggunakan brand fiktif dan mock produk buatan AI untuk menghindari IP pelanggan nyata. Seluruh kumpulan didaftarkan terlebih dahulu — dipublikasikan ke commit bertag sebelum satu output pun dihasilkan — sehingga tidak ada sistem dalam benchmark yang dapat disetel untuk brief tertentu.

Cabang 1 — Agen vs Agen (Creatify vs HeyGen V3, Luma)

Perbandingan murni agen-vs-agen. Kedua sistem mendapat brief yang sama dan memproduksi iklan jadi; juri LLM (Opus 4.7 + GPT-5) melihat brief dan menilai 8 dimensi rubrik iklan. Tingkat kemenangan = % pasangan yang dimenangkan mutlak oleh Creatify atau HeyGen (konsensus kedua juri + kedua posisi). Skor per dimensi = rata-rata skor yang diberikan juri untuk setiap sistem di semua pasangan (dikembalikan ke posisi semula melalui penanda posisi).

Cabang 2 — Kualitas Iklan (Creatify vs baseline T2V mentah)

Penilaian berpasangan multi-juri di mana juri melihat brief dan menilai 8 dimensi rubrik iklan. Skor per dimensi di bawah ini adalah rata-rata per sistem di setiap pasangan tempat sistem tersebut muncul. Agen pesaing (HeyGen V3, Luma) dievaluasi terpisah di Cabang 1; cabang ini hanya berisi Creatify dan baseline model fondasi text-to-video mentah.

Dua varian baseline per model fondasi. Single-scene mencerminkan cara Veo 3.1, Kling 3.0, dan Seedance 2.0 benar-benar digunakan saat ini: brief menjadi satu prompt, model mengembalikan satu klip 8–12 detik. Multi-scene adalah varian yang lebih adil yang kami buat untuk baseline: LLM memecah brief menjadi prompt per adegan (langkah dekomposisi yang sama yang dilakukan Creatify Agent secara internal), setiap adegan dibuat secara terpisah, lalu klip-klipnya digabungkan.

Cabang 3 — Kualitas Produksi Video (Creatify vs baseline T2V mentah)

Cabang 3 menilai video jadi sebagai hasil kerja, terpisah dari seberapa baik video menjawab brief. Dua pengukuran yang saling melengkapi: (1) skor halusinasi & cacat visual dari Claude Opus 4.7 vision pada 15 frame per video; dan (2) pemeriksaan kepatuhan mekanis deterministik pada MP4 yang dirender — durasi, rasio aspek, audio, tipografi di layar. Keduanya digabung menjadi skor Cabang 3 dengan komponen halusinasi berbobot 3×.

Skor Halusinasi & Cacat Visual (0–10, semakin rendah semakin baik)

15 frame berjarak sama per video dikirim ke Claude Opus 4.7 dengan deskripsi produk dari brief sebagai referensi. Enam kategori dinilai 0–10 (lebih tinggi = lebih banyak cacat). Tingkat lolos = proporsi brief dengan skor < 3.0 (ambang batas kelas produksi).

Polesan Produksi &mdash; kualitas struktural deterministik (0&ndash;1)

Empat pengukuran tanpa LLM pada MP4 yang dirender. Setiap sel adalah skor kualitas 0–1 yang dirata-ratakan di seluruh brief dalam kumpulan. Akurasi durasi: ±0.5 detik dari target · Rasio aspek: dalam batas 5% · Kepaduan audio: memiliki aliran audio · Akurasi rendering teks: proporsi teks wajib di layar yang terdeteksi (OCR + Claude vision).

Kesimpulan

1. Creatify menang telak melawan setiap agen pesaing. Perbandingan langsung Cabang 1: mode Pro tingkat kemenangan 85% dan mode Lite 76% melawan para pesaing. Pesaing terkuat (Luma) hanya memenangkan 34% pasangan agen-vs-agen; HeyGen 0%.

2. Creatify mendominasi baseline T2V mentah dalam kualitas iklan. Cabang 2: mode Pro tingkat kemenangan 95%, mode Lite 89%. Baseline model fondasi mentah terbaik hanya mencapai 4%.

3. Creatify menghasilkan video jadi yang paling bersih. Skor kualitas produksi mode Pro 0.990 · mode Lite 0.965 · baseline non-Creatify terbaik 0.922 (Luma). Skor halusinasi mode Pro 1.90 · mode Lite 2.85 · T2V mentah multi-scene 3.65–3.85.

4. Mode Pro mengungguli mode Lite pada cabang perbandingan langsung. Gerbang tinjauan QA per adegan pada Pro menambah +9 poin tingkat kemenangan cabang 1, +7 poin tingkat kemenangan cabang 2, −0.95 cacat halusinasi, dan +2.5 poin kualitas produksi — dengan biaya ~2× dan latensi ~2×.

5. Creatify menghasilkan iklan siap rilis, bukan klip mentah. Lite seharga $3/video dan Pro seharga $6/video — masing-masing menghasilkan iklan bermerek yang tersusun lengkap. Kepaduan audio penuh, durasi yang sangat sesuai, 89–96% teks di layar dirender dengan benar vs 15–21% untuk baseline T2V mentah.

Benchmark ini open-source. Setiap brief, setiap putusan mentah juri, setiap video output, dan setiap skrip agregasi dipublikasikan di bawah Apache 2.0 di github.com/creatify-ai/VABench.

Apa selanjutnya

v2 akan memperluas benchmark di dua sisi. Pertama, lebih banyak brief yang mencakup pola iklan khusus vertikal: e-commerce, instalasi aplikasi, SaaS B2B, kesehatan, pendidikan. Kedua, jalur closed-loop yang mengukur nilai revisi multi-giliran. Kami juga memasukkan sinyal tingkat kampanye (CTR, ROAS) ke dalam AdReward khusus domain untuk mendorong penyelarasan bergaya DPO pada model I2V yang mendasarinya.

Ucapan Terima Kasih

Creatify Agent dan benchmark ini berdiri di atas karya komunitas peneliti yang mengerjakan video multi-agen, evaluasi kualitas video, rubrik efektivitas iklan, dan penjaminan kualitas closed-loop. Beberapa rujukan penting yang kami gunakan:

• Pembuatan video multi-agen: Mora, VideoDirectorGPT, FilmAgent, StoryAgent, VISTA.
• Benchmark kualitas video: VBench / VBench-2.0; VideoGen-Eval; Artificial Analysis Video Arena.
• Pemodelan reward untuk video: VideoReward / Flow-DPO, UnifiedReward.
• Rubrik khusus iklan: Springboards Creativity Benchmark, AdsQA, Pitt Ads Dataset.
• Penjaminan kualitas closed-loop: Meta-Harness; Learning Beyond Gradients.