VideoAdAgent Bench v1
Creatify Research · オープンベンチマーク
概要
VideoAdAgent Benchは、動画広告をエンドツーエンドで制作するAIエージェントのためのオープンな評価基準です。現在最も高性能な動画モデル — Veo 3.1、Kling 3.0、Seedance 2.0 — は見事なショートクリップを生成しますが、クリップは広告ではありません。本当に問うべきは、クリエイティブディレクターがその出力をそのまま公開するかどうかです。ブランドに一貫した商品の見せ方、ストーリーの流れ、ペルソナのキャスティング、音声の統一感、画面上のタイポグラフィ。私たちはこのギャップを直接測定するためにこのベンチマークを構築し、当社チームが実際に広告を公開する際に用いるのと同じ評価基準で採点しています。
広告品質の直接対決において、Creatify Agent · Proモードは、素のファウンデーションモデルのベースライン（シングルシーン・マルチシーンの両方）に対して95%、競合エージェントに対して85%の勝率を記録。制作ハルシネーション評価では1.90という優れたスコア（Lite 2.85、Luma 3.20、素のファウンデーションモデルのマルチシーン 3.65–3.85、HeyGen 4.40）を獲得し、制作品質スコアでも全システム中最高の0.990を達成しました。Creatifyの2つのティアが総合リーダーボードで1位と2位を独占しています。
Creatify Agent + 提供中のすべての競合製品 · 3つの評価軸（エージェント対エージェント、広告品質、制作品質） · 複数ジャッジによるペアワイズ評価（Claude Opus 4.7 + GPT-5、表示順を入れ替えても安定した合意） · 15フレームでのハルシネーション・視覚的欠陥のスコアリング（Claude Opus 4.7 vision） · 決定論的な構造準拠チェック（尺、アスペクト比、音声、OCRによる画面上テキスト）。
0.901
総合トップ
Creatify Agent · Proモード · 3つの評価軸すべてを統合
87%
評価軸1 — エージェント対エージェント
HeyGen V3およびLumaに対するProモードの直接対決勝率
95%
評価軸2 — 広告品質
マルチシーンのファウンデーションモデル・ベースラインに対するProモードの直接対決勝率
0.855
評価軸3 — 制作品質
Proモードの制作スコア（構造準拠 + ハルシネーションスコア）
主要結果 — 全評価軸を0–1スコアで表示
| システム | 総合 | 評価軸1スコア | 評価軸2スコア | 評価軸3スコア | 成功率 | コスト／動画 | コスト／30秒 | p50レイテンシ |
|---|---|---|---|---|---|---|---|---|
| Creatify Agent · Proモード | 0.901 | 0.732 | 0.775 | 0.855 | 100% | $6.00 | $5.99 | 1260s |
| Creatify Agent · Liteモード | 0.836 | 0.716 | 0.757 | 0.778 | 100% | $3.00 | $2.97 | 556s |
| Luma Agent | 0.585 | 0.580 | 0.603 | 0.741 | 100% | $8.24 | $10.95 | 4200s |
| HeyGen V3 Agent | 0.327 | 0.358 | 0.378 | 0.609 | 100% | $0.87 | $1.18 | 681s |
| Seedance 2.0（マルチシーン） | 0.312 | — | 0.337 | 0.588 | 85% | $2.40 | $4.76 | 161s |
| Kling 3.0（マルチシーン） | 0.301 | — | 0.365 | 0.585 | 100% | $4.99 | $5.41 | 80s |
| Kling 3.0（シングルシーン） | 0.296 | — | 0.302 | 0.593 | 100% | $2.00 | $5.98 | 81s |
| Veo 3.1（マルチシーン） | 0.287 | — | 0.362 | 0.549 | 100% | $12.10 | $19.11 | 85s |
| Seedance 2.0（シングルシーン） | 0.285 | — | 0.349 | 0.545 | 100% | $1.20 | $2.99 | 124秒 |
| Veo 3.1（シングルシーン） | 0.265 | — | 0.314 | 0.530 | 100% | $4.00 | $15.00 | 81s |
このベンチマークを構築した理由
これまで、完成した広告を制作するというエンドツーエンドのタスクでAI動画システムを評価する公開ベンチマークは存在しませんでした。既存の動画ベンチマーク — VBench、Video Arena、EvalCrafter — は、単一ショットのテキストから動画への出力について、フレーム単位の忠実度を測定するものです。出力が広告として機能するかどうか、つまりフックの強さ、ブランドとの整合性、画面上のタイポグラフィ、ハルシネーションによるコスト、制作の完成度を測るものは一つもありません。VideoAdAgent Benchは、そのギャップを埋めるベンチマークです。
見事な8〜12秒のクリップは、それだけでは広告になりません。広告には、ブランドを適切なアングルで捉え、文字を崩さずに商品名を表示し、最初の3秒にフックを置いたナラティブアークを組み立て、決められた尺とアスペクト比を守り、ナレーションや音楽を乗せることが求められます。さらに、作り直しが必要になるような商品のハルシネーション、人体描写の破綻、テキストのアーティファクトがない状態で制作QAレビューを通過しなければなりません。現在のテキストから動画への生成モデルは、こうした課題の大半にそもそも取り組んでいません。それらをラップするエージェントも、取り組んだとしてもうまくいかないか、完全に省略しています。このベンチマークの目的は、まさにそのギャップを測定することです。
実際の広告制作を再現
各ブリーフは、社内のクリエイティブチームが実制作向けに作成するものと同じ構成です：商品説明、ブランドガイドライン、ナラティブの意図（問題解決／ビフォーアフター／デモ／お客様の声／ライフスタイル）、プラットフォームの制約（尺、アスペクト比、必須の画面上テキスト）、そしてエージェントが参照すべき入力アセット — ロゴ、商品参照画像、ペルソナ参照。エージェントはブリーフを受け取り、完成したMP4を返します。私たちはそのMP4を、クリエイティブディレクターが承認前にキャンペーンを評価するのと同じ視点で採点します。機能のチェックリストに照らすのではなく、そのまま配信できるかどうかで判断します。
ブリーフセットは、主要な広告制作パターンをすべて網羅し、さらにマルチシーン制作で最も難しい軸を狙ったストレステストも含みます：アンカーとなるストーリーテリング、ペルソナの一貫性、ブランドアセットの再利用、構造化されたCTAタイポグラフィ、そして説得アークへの準拠です。実在の顧客のIPを避けるため、すべてのブリーフで架空のブランドとAI生成の商品モックを使用しています。セット全体は事前登録済み — 出力を1件も生成する前にタグ付きコミットとして公開 — しているため、ベンチマーク内のどのシステムも特定のブリーフに合わせて調整することはできませんでした。
アーム1 — エージェント対エージェント（Creatify vs HeyGen V3、Luma）
純粋なエージェント同士の比較です。両システムに同じブリーフを与えて完成した広告を制作させ、LLMジャッジ（Opus 4.7 + GPT-5）がブリーフを確認したうえで広告評価の8項目を採点します。勝率 = CreatifyまたはHeyGenが明確に勝利したペアの割合（両ジャッジ・両配置順での一致）。項目別スコア = 全ペアを通じてジャッジが各システムに付けた平均スコア（配置フラグにより入れ替えを補正）。
| システム | 勝率 | 広告効果 | ブランド整合性 | 映像品質 | モーション品質 | フックの強さ | CTAの明確さ | ナラティブアーク | 総合評価 |
|---|---|---|---|---|---|---|---|---|---|
| Creatify Agent · Proモード | 87% | 0.765 | 0.806 | 0.785 | 0.738 | 0.720 | 0.683 | 0.786 | 0.732 |
| Creatify Agent · Liteモード | 80% | 0.744 | 0.775 | 0.794 | 0.748 | 0.735 | 0.630 | 0.773 | 0.716 |
| Luma Agent | 34% | 0.683 | 0.713 | 0.771 | 0.719 | 0.698 | 0.664 | 0.690 | 0.580 |
| HeyGen V3 Agent | 0% | 0.495 | 0.485 | 0.709 | 0.646 | 0.602 | 0.482 | 0.485 | 0.358 |
アーム2 — 広告品質（Creatify vs T2Vモデル単体のベースライン）
複数ジャッジによるペア比較で、ジャッジはブリーフを確認したうえで広告評価の8項目を採点します。以下の項目別スコアは、各システムが登場したすべてのペアにおけるシステムごとの平均値です。競合エージェント（HeyGen V3、Luma）はアーム1で別途評価しており、このアームにはCreatifyと、テキストから動画への基盤モデル単体のベースラインのみが含まれます。
基盤モデルごとに2種類のベースラインを用意。シングルシーンは、Veo 3.1、Kling 3.0、Seedance 2.0の現在の一般的な使い方を再現したものです：ブリーフを1つのプロンプトにまとめ、モデルが8–12秒のクリップを1本返します。マルチシーンは、ベースラインのためにより公平になるよう私たちが構築したバリエーションです：LLMがブリーフをシーンごとのプロンプトに分解し（Creatify Agentが内部で行うのと同じ分解ステップ）、各シーンを個別に生成してからクリップを連結します。
| システム | 勝率 | 広告効果 | ブランド整合性 | 映像品質 | モーション品質 | フックの強さ | CTAの明確さ | ナラティブアーク | 総合評価 |
|---|---|---|---|---|---|---|---|---|---|
| Creatify Agent · Proモード | 95% | 0.781 | 0.823 | 0.796 | 0.739 | 0.740 | 0.694 | 0.791 | 0.775 |
| Creatify Agent · Liteモード | 89% | 0.767 | 0.801 | 0.794 | 0.742 | 0.750 | 0.665 | 0.783 | 0.757 |
| Kling 3.0（マルチシーン） | 2% | 0.465 | 0.488 | 0.734 | 0.678 | 0.590 | 0.302 | 0.577 | 0.365 |
| Veo 3.1（マルチシーン） | 2% | 0.462 | 0.487 | 0.747 | 0.693 | 0.571 | 0.306 | 0.552 | 0.362 |
| Seedance 2.0（シングルシーン） | 2% | 0.467 | 0.471 | 0.746 | 0.734 | 0.499 | 0.311 | 0.531 | 0.349 |
| Seedance 2.0（マルチシーン） | 4% | 0.439 | 0.458 | 0.756 | 0.697 | 0.596 | 0.295 | 0.480 | 0.337 |
| Veo 3.1（シングルシーン） | 0% | 0.415 | 0.417 | 0.720 | 0.682 | 0.513 | 0.262 | 0.482 | 0.314 |
| Kling 3.0（シングルシーン） | 0% | 0.417 | 0.426 | 0.669 | 0.648 | 0.470 | 0.297 | 0.466 | 0.302 |
アーム3 — 動画制作品質（Creatify vs T2Vモデル単体のベースライン）
アーム3では、ブリーフへの適合度とは切り離し、完成した動画を納品物として評価します。相互に補完する2つの測定を行います：動画1本につき15フレームをClaude Opus 4.7のビジョン機能で解析する(1) ハルシネーション & 視覚的欠陥スコア、レンダリングされたMP4に対する(2) 決定論的な機械的準拠チェック — 尺、アスペクト比、音声、画面上のタイポグラフィ。これらをハルシネーション要素に3×の重みを付けて合算し、アーム3のスコアとします。
ハルシネーション & 視覚的欠陥スコア（0–10、低いほど良好）
動画ごとに均等間隔で抽出した15フレームを、ブリーフの商品説明を参照情報としてClaude Opus 4.7に送信。6つのカテゴリを0–10で採点します（高いほど欠陥が多い）。合格率 = スコアが< 3.0（制作品質の基準値）となったブリーフの割合。
| システム | 総合スコア ↓ | 合格率 ↑ | 商品の忠実度 ↓ | テキスト品質 ↓ | 物体のハルシネーション ↓ | 物理法則の違反 ↓ | 人体描写 ↓ |
|---|---|---|---|---|---|---|---|
| Creatify Agent · Proモード | 1.90 | 90% | 1.75 | 2.00 | 1.20 | 0.90 | 0.70 |
| Creatify Agent · Liteモード | 2.85 | 50% | 2.70 | 2.80 | 2.15 | 1.35 | 0.95 |
| Luma Agent | 3.20 | 45% | 2.50 | 3.05 | 2.40 | 1.65 | 1.10 |
| Kling 3.0（シングルシーン） | 3.60 | 35% | 3.15 | 2.95 | 3.00 | 2.30 | 1.65 |
| Seedance 2.0（マルチシーン） | 3.65 | 35% | 4.35 | 2.12 | 1.88 | 1.12 | 0.76 |
| Seedance 2.0（シングルシーン） | 3.80 | 25% | 3.35 | 3.95 | 2.95 | 1.90 | 1.10 |
| Kling 3.0（マルチシーン） | 3.80 | 35% | 3.95 | 3.70 | 3.00 | 1.65 | 1.55 |
| Veo 3.1（マルチシーン） | 3.85 | 30% | 4.15 | 3.20 | 2.50 | 1.70 | 1.65 |
| Veo 3.1（シングルシーン） | 4.00 | 20% | 3.70 | 3.40 | 3.30 | 2.35 | 1.60 |
| HeyGen V3 Agent | 4.40 | 20% | 4.65 | 4.00 | 2.55 | 1.45 | 1.05 |
制作の完成度 — 決定論的な構造品質（0–1）
レンダリングされたMP4に対する、LLMを使わない4つの測定。各セルは、セット内の全ブリーフで平均した0–1の品質スコアです。尺の正確さ：目標の±0.5秒以内 · アスペクト比：誤差5%以内 · 音声の一貫性：音声ストリームを含む · テキスト描画の正確さ：必須の画面上テキストが検出された割合（OCR + Claudeビジョン）。
| システム | 尺の正確さ | アスペクト比 | 音声 | テキストレンダリング | 制作平均 |
|---|---|---|---|---|---|
| Creatify Agent · Proモード | 1.000 | 1.000 | 1.000 | 0.958 | 0.990 |
| Creatify Agent · Liteモード | 0.969 | 1.000 | 1.000 | 0.892 | 0.965 |
| Luma Agent | 0.880 | 1.000 | 0.950 | 0.858 | 0.922 |
| HeyGen V3 Agent | 0.130 | 1.000 | 1.000 | 0.892 | 0.755 |
| Kling 3.0（マルチシーン） | 0.715 | 0.050 | 1.000 | 0.150 | 0.479 |
| Kling 3.0（シングルシーン） | 0.000 | 0.500 | 1.000 | 0.300 | 0.450 |
| Seedance 2.0（マルチシーン） | 0.588 | 1.000 | 0.000 | 0.206 | 0.449 |
| Veo 3.1（マルチシーン） | 0.237 | 1.000 | 0.000 | 0.175 | 0.353 |
| Veo 3.1（シングルシーン） | 0.000 | 1.000 | 0.000 | 0.275 | 0.319 |
| Seedance 2.0（シングルシーン） | 0.000 | 1.000 | 0.000 | 0.275 | 0.319 |
総合スコア(0–1、高いほど良い)。Arm 2(広告品質)とArm 3(動画制作品質)を組み合わせた指標です。Creatify+生のT2V:0.5 × Arm 2 overall_preference + 0.5 × Arm 3スコア。HeyGen V3(Arm 2/3のデータなし):0.5 × Arm 1スコア + 0.5 × 制作の完成度。
Arm 1 — 能力(勝率%)。エージェント型の競合に対してCreatifyが明確に勝利したペアの割合。2つのジャッジ(Claude Opus 4.7 + GPT-5)が提示順を入れ替えて評価し、判定が一致したもののみをカウントします。
Arm 2 — 広告品質(勝率%)。同じペア比較プロトコルで、Veo 3.1、Kling 3.0、Seedance 2.0のベースラインと比較します。
Arm 3 — 動画制作品質(0–1)。(a)ハルシネーションのなさを示すスコア = 1 −(ハルシネーション総合値 / 10)と、(b)制作の完成度 — レンダリング済みMP4に対するLLMを使わない4つの計測(尺の正確さ、アスペクト比、音声、テキストのレンダリング)— の加重平均です。ハルシネーションは「配信できるかどうか」を大きく左右するため、3×の重みを付けています。
コスト / 30秒 = 30秒の成果物に正規化したコスト(コスト ÷ 実際の出力尺 × 30)— T2Vベースラインの上限が8–12秒である一方、実際の広告には15–30秒が必要なため、公平に比較するための指標です。
結論
1. Creatifyはすべての競合エージェントに圧勝。Arm 1の直接比較:Proモードは勝率85%、Liteモードは76%。最も強力な競合(Luma)でもエージェント同士のペアでの勝率は34%にとどまり、HeyGenは0%です。
2. Creatifyは広告品質で生のT2Vベースラインを圧倒。Arm 2:Proモードは勝率95%、Liteモードは89%。最も優れた生の基盤モデルのベースラインでも4%にとどまります。
3. Creatifyは最もクリーンな動画成果物を制作。Proモードの制作品質スコア0.990 · Liteモード0.965 · Creatify以外で最高のベースライン0.922(Luma)。Proモードのハルシネーションスコア1.90 · Liteモード2.85 · 生のT2Vマルチシーン3.65–3.85。
4. 直接比較のArmではProモードがLiteモードを上回る。Proのシーンごとの QAレビューゲートにより、Arm 1の勝率が+9ポイント、Arm 2の勝率が+7ポイント、ハルシネーション欠陥が−0.95、制作品質が+2.5ポイント改善 — コストとレイテンシーはいずれも約2×です。
5. Creatifyが届けるのは、素材クリップではなくそのまま配信できる広告。Liteは$3/本、Proは$6/本 — いずれもブランドを反映した完成済みの広告を制作します。音声の完全な一貫性、尺の高い一致度、画面上テキストの正確なレンダリング率89–96%(生のT2Vベースラインは15–21%)。
ベンチマークはオープンソースです。すべてのブリーフ、ジャッジの生の判定、出力動画、集計スクリプトをApache 2.0のもとgithub.com/creatify-ai/VABenchで公開しています。
次は何?
v2では、2つの軸でベンチマークを拡張します。1つ目は、業種別の広告パターン(EC、アプリインストール、B2B SaaS、ヘルスケア、教育)をカバーするブリーフの追加。2つ目は、複数ターンの修正がもたらす価値を測定するクローズドループのトラックです。さらに、キャンペーンレベルのシグナル(CTR、ROAS)をドメイン特化型のAdRewardに組み込み、基盤となるI2VモデルのDPO方式のアライメントに活用していきます。
謝辞
Creatify Agentと本ベンチマークは、マルチエージェント動画、動画品質評価、広告効果のルーブリック、クローズドループの品質保証に取り組む研究者コミュニティの成果の上に成り立っています。主に参考にした研究は以下のとおりです:
- マルチエージェント動画生成:Mora、VideoDirectorGPT、FilmAgent、StoryAgent、VISTA。
- 動画品質ベンチマーク:VBench / VBench-2.0、VideoGen-Eval、Artificial Analysis Video Arena。
- 動画向け報酬モデリング:VideoReward / Flow-DPO、UnifiedReward。
- 広告特化型ルーブリック:Springboards Creativity Benchmark、AdsQA、Pitt Ads Dataset。
- クローズドループの品質保証:Meta-Harness、Learning Beyond Gradients。