VideoAdAgent Bench v1
Creatify Research 出品 · 开放基准测试
概览
VideoAdAgent Bench 是一项针对端到端制作视频广告的 AI 智能体的开放评测。当今最强的视频模型——Veo 3.1、Kling 3.0、Seedance 2.0——能生成令人惊艳的短片，但短片并不等于广告。正确的检验标准是创意总监是否会交付这一成果：品牌一致的产品构图、叙事弧线、人设选角、音频协调性、屏幕文字排版。我们构建这项基准测试，就是为了直接衡量这一差距，并采用我们团队在实际生产中交付广告时所用的同一套评分标准进行评分。
在一对一的广告质量对比中，Creatify Agent · Pro 模式对比原生基础模型基线（单场景和多场景）的胜率为 95%，对比竞品智能体的胜率为 85%；在生产幻觉评分标准上取得 1.90 的优异成绩（Lite 2.85、Luma 3.20、原生基础模型多场景 3.65–3.85、HeyGen 4.40），并获得全场最高的生产质量分数（0.990）。Creatify 的两个档位在综合排行榜上分列第 1 和第 2 名。
Creatify Agent + 所有已上线的竞品 · 3 个评测维度（智能体对比、广告质量、生产质量）· 多评委两两对比（Claude Opus 4.7 + GPT-5，位置互换后稳定共识）· 15 帧幻觉与视觉缺陷评分（Claude Opus 4.7 视觉）· 确定性结构合规检查（时长、画幅、音频、通过 OCR 识别屏幕文字）。
0.901
综合最高分
Creatify Agent · Pro 模式 · 三个评测维度的综合
87%
维度 1 — 智能体对比
Pro 模式对比 HeyGen V3 和 Luma 的一对一胜率
95%
维度 2 — 广告质量
Pro 模式对比多场景基础模型基线的一对一胜率
0.855
维度 3 — 生产质量
Pro 模式生产分数（结构合规 + 幻觉分数）
总览——所有维度均为 0–1 分
| 系统 | 综合 | 维度 1 分数 | 维度 2 分数 | 维度 3 分数 | 成功率 | 成本 / 视频 | 成本 / 30 秒 | p50 延迟 |
|---|---|---|---|---|---|---|---|---|
| Creatify Agent · Pro 模式 | 0.901 | 0.732 | 0.775 | 0.855 | 100% | $6.00 | $5.99 | 1260s |
| Creatify Agent · Lite 模式 | 0.836 | 0.716 | 0.757 | 0.778 | 100% | $3.00 | $2.97 | 556s |
| Luma Agent | 0.585 | 0.580 | 0.603 | 0.741 | 100% | $8.24 | $10.95 | 4200s |
| HeyGen V3 Agent | 0.327 | 0.358 | 0.378 | 0.609 | 100% | $0.87 | $1.18 | 681s |
| Seedance 2.0（多场景） | 0.312 | — | 0.337 | 0.588 | 85% | $2.40 | $4.76 | 161s |
| Kling 3.0（多场景） | 0.301 | — | 0.365 | 0.585 | 100% | $4.99 | $5.41 | 80s |
| Kling 3.0（单场景） | 0.296 | — | 0.302 | 0.593 | 100% | $2.00 | $5.98 | 81s |
| Veo 3.1（多场景） | 0.287 | — | 0.362 | 0.549 | 100% | $12.10 | $19.11 | 85s |
| Seedance 2.0（单场景） | 0.285 | — | 0.349 | 0.545 | 100% | $1.20 | $2.99 | 124s |
| Veo 3.1（单场景） | 0.265 | — | 0.314 | 0.530 | 100% | $4.00 | $15.00 | 81s |
我们为何构建这项基准测试
在此之前，还没有一项公开基准测试会就"制作成品广告"这一端到端任务为 AI 视频系统评分。现有的视频基准测试——VBench、Video Arena、EvalCrafter——衡量的是单镜头文字转视频输出的逐帧保真度。它们都没有衡量输出能否作为广告发挥作用：开头吸引力、品牌契合度、屏幕文字排版、幻觉成本、制作精良度。VideoAdAgent Bench 填补了这一空白。
一段惊艳的八到十二秒短片并不等于广告。一条广告需要以正确的角度呈现品牌，准确渲染产品名称而不出现乱码，构建叙事弧线并在前三秒抓住注意力，符合固定的时长和画幅比例，配有旁白或音乐，并能通过生产质检审核，不出现需要重新生成的产品幻觉、人体结构错误或文字瑕疵。当今的文字转视频模型对这些问题大多不予处理。封装这些模型的智能体要么处理得很糟，要么完全跳过。这项基准测试的意义，正是精确衡量这一差距。
还原真实的广告制作
每份需求简报的结构都与我们内部创意团队为实际制作撰写的简报一致：产品描述、品牌规范、叙事意图（问题-解决方案 / 前后对比 / 演示 / 用户证言 / 生活方式）、平台约束（时长、画幅比例、必需的屏幕文字），以及智能体应依托的输入素材——Logo、产品参考图、人设参考。智能体接收简报并返回一个成品 MP4。我们像创意总监在批准广告活动前那样评审这个 MP4：不是对照功能清单，而是看输出是否可以交付。
简报集涵盖所有主要的广告制作模式，并针对多场景制作中最困难的维度进行定向压力测试：核心叙事、人设一致性、品牌素材复用、结构化 CTA 排版和说服弧线合规。每份简报都使用虚构品牌和 AI 生成的产品样图，以避免涉及真实客户的知识产权。完整的简报集经过预先登记——在生成任何输出之前就已发布到带标签的提交中——因此基准测试中的任何系统都不可能针对特定简报进行调优。
维度 1——智能体对比（Creatify 对比 HeyGen V3、Luma）
严格的智能体对智能体比较。两个系统获得相同的简报并制作成品广告；LLM 评委（Opus 4.7 + GPT-5）查看简报，并对 8 个广告评分维度打分。胜率 = Creatify 或 HeyGen 完胜的对比组占比（两位评委 + 两种座位位置的共识）。各维度分数 = 评委在所有对比组中给每个系统的平均分（通过位置标记还原互换）。
| 系统 | 胜率 | 广告成效 | 品牌契合度 | 画面质量 | 运动质量 | 开头吸引力 | CTA 清晰度 | 叙事弧线 | 总体偏好 |
|---|---|---|---|---|---|---|---|---|---|
| Creatify Agent · Pro 模式 | 87% | 0.765 | 0.806 | 0.785 | 0.738 | 0.720 | 0.683 | 0.786 | 0.732 |
| Creatify Agent · Lite 模式 | 80% | 0.744 | 0.775 | 0.794 | 0.748 | 0.735 | 0.630 | 0.773 | 0.716 |
| Luma Agent | 34% | 0.683 | 0.713 | 0.771 | 0.719 | 0.698 | 0.664 | 0.690 | 0.580 |
| HeyGen V3 Agent | 0% | 0.495 | 0.485 | 0.709 | 0.646 | 0.602 | 0.482 | 0.485 | 0.358 |
维度 2——广告质量（Creatify 对比原生文字转视频基线）
多评委两两对比，评委查看简报并对 8 个广告评分维度打分。下方各维度分数为每个系统在其参与的所有对比组中的平均分。竞品智能体（HeyGen V3、Luma）在维度 1 中单独评测；本维度仅包含 Creatify 和原生文字转视频基础模型基线。
每个基础模型有两种基线变体。单场景还原了 Veo 3.1、Kling 3.0 和 Seedance 2.0 目前的实际使用方式：简报变成单个提示词，模型返回一段 8–12 秒的短片。多场景是我们为基线构建的更公平的变体：由 LLM 将简报拆解为逐场景的提示词（与 Creatify Agent 内部的拆解步骤相同），分别生成每个场景，再将短片拼接起来。
| 系统 | 胜率 | 广告成效 | 品牌契合度 | 画面质量 | 运动质量 | 开头吸引力 | CTA 清晰度 | 叙事弧线 | 总体偏好 |
|---|---|---|---|---|---|---|---|---|---|
| Creatify Agent · Pro 模式 | 95% | 0.781 | 0.823 | 0.796 | 0.739 | 0.740 | 0.694 | 0.791 | 0.775 |
| Creatify Agent · Lite 模式 | 89% | 0.767 | 0.801 | 0.794 | 0.742 | 0.750 | 0.665 | 0.783 | 0.757 |
| Kling 3.0（多场景） | 2% | 0.465 | 0.488 | 0.734 | 0.678 | 0.590 | 0.302 | 0.577 | 0.365 |
| Veo 3.1（多场景） | 2% | 0.462 | 0.487 | 0.747 | 0.693 | 0.571 | 0.306 | 0.552 | 0.362 |
| Seedance 2.0（单场景） | 2% | 0.467 | 0.471 | 0.746 | 0.734 | 0.499 | 0.311 | 0.531 | 0.349 |
| Seedance 2.0（多场景） | 4% | 0.439 | 0.458 | 0.756 | 0.697 | 0.596 | 0.295 | 0.480 | 0.337 |
| Veo 3.1（单场景） | 0% | 0.415 | 0.417 | 0.720 | 0.682 | 0.513 | 0.262 | 0.482 | 0.314 |
| Kling 3.0（单场景） | 0% | 0.417 | 0.426 | 0.669 | 0.648 | 0.470 | 0.297 | 0.466 | 0.302 |
维度 3——视频制作质量（Creatify 对比原生文字转视频基线）
维度 3 将成品视频作为交付物进行评分，与其对简报的回应程度分开评估。包含两项互补的衡量：（1）幻觉与视觉缺陷评分，由 Claude Opus 4.7 视觉模型对每条视频的 15 帧进行评估；（2）确定性机械合规检查，针对渲染后的 MP4——时长、画幅、音频、屏幕文字排版。两者混合计入维度 3 分数，其中幻觉部分权重为 3 倍。
幻觉与视觉缺陷分数（0–10，越低越好）
每条视频均匀抽取 15 帧发送给 Claude Opus 4.7，并以简报中的产品描述作为参考。六个类别按 0–10 评分（分数越高 = 缺陷越多）。通过率 = 得分 < 3.0（生产级阈值）的简报占比。
| 系统 | 综合 ↓ | 通过率 ↑ | 产品还原度 ↓ | 文字质量 ↓ | 物体幻觉 ↓ | 物理违背 ↓ | 人体结构 ↓ |
|---|---|---|---|---|---|---|---|
| Creatify Agent · Pro 模式 | 1.90 | 90% | 1.75 | 2.00 | 1.20 | 0.90 | 0.70 |
| Creatify Agent · Lite 模式 | 2.85 | 50% | 2.70 | 2.80 | 2.15 | 1.35 | 0.95 |
| Luma Agent | 3.20 | 45% | 2.50 | 3.05 | 2.40 | 1.65 | 1.10 |
| Kling 3.0（单场景） | 3.60 | 35% | 3.15 | 2.95 | 3.00 | 2.30 | 1.65 |
| Seedance 2.0（多场景） | 3.65 | 35% | 4.35 | 2.12 | 1.88 | 1.12 | 0.76 |
| Seedance 2.0（单场景） | 3.80 | 25% | 3.35 | 3.95 | 2.95 | 1.90 | 1.10 |
| Kling 3.0（多场景） | 3.80 | 35% | 3.95 | 3.70 | 3.00 | 1.65 | 1.55 |
| Veo 3.1（多场景） | 3.85 | 30% | 4.15 | 3.20 | 2.50 | 1.70 | 1.65 |
| Veo 3.1（单场景） | 4.00 | 20% | 3.70 | 3.40 | 3.30 | 2.35 | 1.60 |
| HeyGen V3 Agent | 4.40 | 20% | 4.65 | 4.00 | 2.55 | 1.45 | 1.05 |
制作完成度 — 确定性结构质量（0–1）
对渲染后的 MP4 进行四项无需 LLM 的测量。每个单元格为 0–1 的质量分数，取该集合中所有 brief 的平均值。时长准确度：与目标相差 ±0.5 秒以内 · 画面比例：误差在 5% 以内 · 音频完整性：包含音频流 · 文字渲染准确度：检测到的必需屏幕文字所占比例（OCR + Claude 视觉）。
| 系统 | 时长准确度 | 画面比例 | 音频 | 文本渲染 | 制作均分 |
|---|---|---|---|---|---|
| Creatify Agent · Pro 模式 | 1.000 | 1.000 | 1.000 | 0.958 | 0.990 |
| Creatify Agent · Lite 模式 | 0.969 | 1.000 | 1.000 | 0.892 | 0.965 |
| Luma Agent | 0.880 | 1.000 | 0.950 | 0.858 | 0.922 |
| HeyGen V3 Agent | 0.130 | 1.000 | 1.000 | 0.892 | 0.755 |
| Kling 3.0（多场景） | 0.715 | 0.050 | 1.000 | 0.150 | 0.479 |
| Kling 3.0（单场景） | 0.000 | 0.500 | 1.000 | 0.300 | 0.450 |
| Seedance 2.0（多场景） | 0.588 | 1.000 | 0.000 | 0.206 | 0.449 |
| Veo 3.1（多场景） | 0.237 | 1.000 | 0.000 | 0.175 | 0.353 |
| Veo 3.1（单场景） | 0.000 | 1.000 | 0.000 | 0.275 | 0.319 |
| Seedance 2.0（单场景） | 0.000 | 1.000 | 0.000 | 0.275 | 0.319 |
综合分（0–1，越高越好）。综合 Arm 2（广告质量）与 Arm 3（视频制作质量）。Creatify + 原生 T2V：0.5 × Arm 2 overall_preference + 0.5 × Arm 3 分数。HeyGen V3（无 Arm 2/3 数据）：0.5 × Arm 1 分数 + 0.5 × 制作完成度。
Arm 1 — 能力（胜率 %）。Creatify 在与智能体竞品的对比中直接胜出的比例。由两位评审（Claude Opus 4.7 + GPT-5）进行位置互换评判，仅计入二者一致的结论。
Arm 2 — 广告质量（胜率 %）。采用相同的成对比较流程，对比基线为 Veo 3.1、Kling 3.0、Seedance 2.0。
Arm 3 — 视频制作质量（0–1）。由以下两项加权合成：(a) 无幻觉分数 = 1 −（幻觉综合分 / 10），以及 (b) 制作完成度 — 对渲染后的 MP4 进行的四项无需 LLM 的测量（时长准确度、画面比例、音频、文字渲染）。幻觉的权重为 3×，因为它决定了广告"能否直接投放"。
成本 / 30 秒 = 换算为 30 秒成片的成本（成本 ÷ 实际输出时长 × 30）— 当 T2V 基线最长只有 8–12 秒、而真实广告需要 15–30 秒时，这样比较才公平。
结论
1. Creatify 对所有竞品智能体均取得压倒性胜利。Arm 1 正面对比：Pro 模式胜率 85%，Lite 模式76%。最强竞品（Luma）在智能体之间的对比中仅赢下 34%；HeyGen 为 0%。
2. 在广告质量上，Creatify 全面领先原生 T2V 基线。Arm 2：Pro 模式胜率 95%，Lite 模式89%。表现最好的原生基础模型基线仅为4%。
3. Creatify 产出的视频成片最干净。Pro 模式制作质量分0.990 · Lite 模式 0.965 · 最佳非 Creatify 基线 0.922（Luma）。Pro 模式幻觉分1.90 · Lite 模式 2.85 · 原生 T2V 多场景 3.65–3.85。
4. 在正面对比中，Pro 模式胜过 Lite 模式。Pro 的逐场景 QA 审核关卡带来arm-1 胜率 +9 个百分点、arm-2 胜率 +7 个百分点、幻觉缺陷 −0.95，以及制作质量 +2.5 个百分点 — 代价是约 2× 的成本和约 2× 的耗时。
5. Creatify 交付的是可直接投放的广告，而不是原始素材。Lite 每条视频 $3，Pro 每条视频 $6 — 每条都是完整组装、带品牌元素的广告。音频完整、时长精准匹配，屏幕文字正确渲染率达 89–96%，而原生 T2V 基线仅为 15–21%。
该基准测试已开源。所有 brief、所有评审原始结论、所有输出视频以及所有汇总脚本均以 Apache 2.0 协议发布于 github.com/creatify-ai/VABench。
接下来是什么
v2 将从两个维度扩展基准测试。其一，增加覆盖各垂直行业广告模式的 brief：电商、应用安装、B2B SaaS、医疗健康、教育。其二，新增闭环赛道，衡量多轮修改的价值。我们还在将投放层面的信号（CTR、ROAS）纳入面向广告领域的 AdReward，用以驱动底层 I2V 模型的 DPO 式对齐。
致谢
Creatify Agent 与本基准测试建立在众多研究者的成果之上，他们深耕多智能体视频、视频质量评估、广告效果评分标准以及闭环质量保证等领域。我们重点借鉴的研究方向包括：