Aurora 对比 HeyGen 头像:底层技术有什么不同

作者:Creatify 团队

Creatify Aurora 模型和 HeyGen 的 Avatar IV 都是 AI 数字人系统,它们通过一张图片和一段音频就能生成一个开口说话的角色。阅读任一网站上的模型介绍,你会以为它们的工作原理截然相反。但仔细观察视频的生成方式,令人惊讶的是它们的核心技术竟然如此相似。两者都是扩散模型。两者都是由音频驱动的。两者都能从有限的视觉线索中推理出完整的表演,包括源图片中从未展现过的动作。本文将为你拆解,底层技术中哪些是真正不同的,哪些只是换了不同品牌包装的同一种技术,并且我们会坦实地说明双方都没有透露太多细节的地方。

在进入技术细节之前,需要说明一点:Aurora 是我们自己的模型,因此我们对它的审视标准与对 HeyGen 的完全一致。

价格一览

两者采用不同的计费系统,因此这只是一个参考,而不是完全等同的对比表。HeyGen 按月度套餐销售,以点数计费;我们则在更广泛的套餐中,将 Aurora 折算为点数进行计费。


HeyGen

Aurora (我们的模型)

入门级

免费:3 个视频/月,最长 1 分钟,带水印

包含在我们的套餐中;Aurora 在专业版(Pro)及以上档位运行

付费起点

创作者版(Creator)$29/月(年付约 $24):600 点数,1080p,无水印

Aurora 每 15 秒视频消耗 5 点数

更高档位

专业版(Pro)约 $49/月起(1,000 点数,4K);商业版(Business)$149/月外加 $20/席位(1,500 点数,4K,SSO)

我们的专业版及以上档位;更高阶的套餐增加了并发数和视频长度

数字人渲染成本

在简化的 Studio 费率下,Avatar IV 每分钟约消耗 20 点数;或者在 HeyGen 详细的按外观费率下,每分钟消耗 16(照片)到 31(视频)点数不等

每 15 秒 5 点数

因为 HeyGen 的点数和我们的点数单位不同,且套餐包含的内容也不同,所以请勿直接横向对比这两个点数值。请根据你在每个平台上的实际使用情况来估算价格。值得注意的是:HeyGen 较旧的"无限量"套餐已调整为此点数模式,且其专业版(Pro)起步价目前约为 $49/月,而非一些较早的文章中所列的 $99。

两款 AI 数字人生成器背后的共同基石

different products siilar core

抛开表象看底层的数字人模型技术,它们都在使用相同的原始模型。用我们自己的话来说,Aurora 是一个专有的扩散 Transformer,它将图像、文本和音频编码器连接在一个共享的潜在空间中,并从中渲染出数字人。HeyGen 则将 Avatar IV 称为"受扩散启发的音频到表情引擎",其工程资料将 Avatar IV 和 V 系列描述为通过流匹配(flow matching)训练的扩散 Transformer,其 IV 研究页面还引用了超过 180 亿参数的扩散堆栈。在这两个案例中,音频都是驱动力:模型读取人声的音调、节奏和重音,并将其转化为嘴唇动作、面部表情和时序。

这就是最坦实的结论。在"这是什么类型的模型"这一层面上,Aurora 和 Avatar IV 是近亲,它们都是由音频调节的、生成说话数字人视频的扩散系统。真正的差异存在于更深的一层——即每个模型针对什么进行了优化,以及它们如何获取动作,这也是本文接下来的核心内容。

这也是双方公布的细节都开始语焉不详的地方。HeyGen 记录了 Avatar IV 的表现,但没有公开其完整的实现方式,也尚未发布包含精确训练配方的 IV 专属模型卡。而我们自己的资料也更多是在描述 Aurora 的功能,而非其训练方式的内部原理。因此,请将双方的技术规格视为厂商的自我描述,而非经过独立第三方验证的基准测试。

HeyGen 数字人的底层原理

Avatar IV

HeyGen 发布了比大多数数字人厂商更多的关于其推理管道的信息,这很值得探讨,因为它解释了其优势和不足。根据 HeyGen 自家的描述,Avatar IV 的生成分阶段进行:基础扩散 Transformer 根据参考身份、音频特征和其他控制条件生成低分辨率视频潜变量;然后,一个具有身份感知能力的超分辨率模型对脸部、嘴部和其他高敏感区域进行细化;接着,流式解码器渐进式地发布视频帧,这就是为什么 HeyGen 能够生成长视频并实现超越实时的 720p 渲染。较长的视频是通过在边界进行插值将各个片段拼接在一起的,这样动作就不会在片段之间突然重置。

在输入端,Avatar IV 可以根据单张静态图片加上脚本或音频文件进行动画制作,生成对口型、头部动作、微表情和手势,并能生成长达数分钟的连续视频。它最独特的优势在于素材的适配范围:HeyGen 明确支持非人类输入,因此宠物、卡通人物、3D 渲染、插画和动漫都可以通过同一个照片工作流进行动画制作。但这带来的缺陷也是由于这种方法本身所固有的。当一个模型必须根据一张静态照片凭空捏造手势、姿态和移动的身体时,它有时会产生时间伪影或使背景保持静态,因为它在凭空想象源图像中根本不存在的信息。

Avatar V 则是 HeyGen 做出真正颠覆性改变的地方,由于命名的原因,这很容易被误认为是一次微小的升级。相反,Avatar V 不是从单张图像中推理出表演,而是通过一段简短的参考视频来学习真人的动作。HeyGen 将其描述为对该参考视频的完整 token 序列进行条件处理,使用一种称为"稀疏参考注意力"(Sparse Reference Attention)的技术来保持较长镜头的可控性,并对静态身份(皮肤、面部几何形状、牙齿、头发)和动态身份(说话节奏、习惯性微表情、手势风格)进行建模。它将这些与用于音色和韵律的独立音频引擎以及多阶段训练课程相结合。两者的实用区别在于:Avatar IV 猜测出一种合理的表演,而 Avatar V 则是复制特定真人的真实表演。这就是为什么 HeyGen 将 IV 用于风格化和非人类角色,而将 V 用于高保真的人类数字双胞胎。

Creatify Aurora 的底层原理

Cretify aurora

我们将 Aurora 构建为一个专有的扩散 Transformer,这是一个拥有图像、文本和音频编码器的多模态基础模型,这些编码器在共享的潜在空间中交换信息。它的能力包括音频驱动的情感表达、每秒 24 帧的对口型、眼球运动、手势、上半身及全身动作,以及跨视频片段的长效一致性。它能读取如 [laugh](笑)和 [excited](兴奋)等情感标签来引导情绪表达,支持 75+ 种语言和 140+ 种声音,提供 1500 多个预建数字人,并允许你通过照片或视频导入自己的形象,或者根据文本描述生成角色。它既能处理写实的人物,也能处理吉祥物、卡通和品牌定制角色。

Avatar Video Interface

与任何厂商的技术规格表(包括 HeyGen 的在内)一样,这些都是宣称的能力,而非由第三方独立复制的数据。我们能够明确说出的是 Creatify Aurora 的定位。我们针对广告营销对其进行了调优:数字人手持产品、身着品牌服装,并以直接响应视频所青睐的那种肢体存在感进行移动,这些都是在旨在生成大量广告变体的管道中生成的。

AI 数字人对比:到底有哪些真正的不同

将两者并排对比,真正的区别比营销宣传所暗示的要更窄、更具体。

首先,有一点并非不同。Aurora 和 HeyGen Avatar IV 都是根据有限的线索(一张图片加音频)来推理表演,且两者都必须合成出静态图片中从未提供的、看起来合理的双手、姿态和眼球行为。在这项机制上,它们是同胞兄弟,因此"一个是扩散 Transformer,另一个是照片转视频"的分类是错误的;两者都是由音频驱动的扩散视频模型。

Aurora and HeyGen difference

最清晰的架构分叉是 HeyGen Avatar V。它采用的动作参考方法,即学习并重用真实个体的动作特征,其设计目标与我们公开描述的 Aurora 的任何功能都不同,这也是 HeyGen 在需要像真人一样移动的个人数字双胞胎领域表现强劲的原因。

第二个真正的区别是广泛性。HeyGen 在其付费档位上支持 175 种语言,而我们宣称支持 75+ 种;HeyGen 将动画化更广泛的非人类角色作为主打功能,并推出了一个成熟的独立产品,内置了流式传输和配音功能。如果你的工作是制作本地化的发言人视频,或者根据画作将吉祥物做成动画,那么这种广泛性就很重要,我们可以坦率地说,HeyGen 在这方面目前处于领先地位。

第三个区别是 Aurora 领先的地方,这是一种系统级的优势,而非更深层的模型。Aurora 深度嵌入在我们的广告制作工作流中,拥有产品交互、品牌服装、品牌安全审查层,以及直接导出到广告平台的功能。因此,如果你在评估将 Aurora 作为 HeyGen 的替代方案,这一工作流就是切换的理由,而不是去纠结谁拥有更好的生成核心。这是一个针对特定工作(即批量制作效果广告变体)的产品和数据优先优势,而不是底层拥有独特生成原语的证据。这是一个可以宣称的合理且垂直的优势,我们宁愿坦实地说明其范围,也不愿过度推销它。

哪款 AI 数字人生成器适合哪种工作

对于本地化的演讲者视频、给插画、宠物或动漫制作动画,以及构建一个动作神态像特定真人的高保真数字双胞胎,HeyGen 是更强大、更成熟的选择,尤其是 Avatar V 在目前的 Aurora 中还没有直接对等的对应。而对于需要批量生成广告创意,让数字人手持产品、展现全身动态,并在能将输出直接对接到广告平台的工作流中运行,Aurora 正是为此赛道而生。在抽象概念上,没有哪个模型更好;它们针对不同的工作进行了优化,而且我们双方都保留了足够的内部技术秘密,任何声称有绝对技术赢家的人都只是在猜测。

推荐阅读:什么是 AI 数字人?定义、类型和用途

常见问题

Aurora 和 HeyGen Avatar IV 在底层是一回事吗?

并非完全相同,但比品牌宣传所暗示的要接近得多。两者都是由音频驱动的扩散模型,通过从一张图像加音频中推理出表演来生成说话的数字人视频。有意义的区别在于优化方向,以及就 HeyGen 而言,Avatar V 采用的独立动作参考方法,而不是在基本模型类型上有什么不同。

哪一个支持更多的语言?

从纸面上看是 HeyGen:它在其付费套餐中列出了 175 种语言,而我们在 Aurora 中支持 75+ 种。HeyGen 的免费套餐限制在 30 种左右。语言数量是双方宣称的能力,因此请务必验证你具体需要的语言。

对于宠物或动漫等非人类数字人,哪一个更好?

HeyGen 将此作为主打优势进行推广,通过 Avatar IV 的单张照片工作流,明确支持宠物、卡通、3D 角色、插画和动漫。Aurora 也能处理吉祥物、卡通和品牌角色,但我们会直说,HeyGen 对非人类角色的适配范围是更突出、有更多文档支持的功能。

HeyGen Avatar IV 和 Avatar V 的真正区别是什么?

Avatar IV 从单张静态图像和音频中推理出合理的表演,这就是为什么它适用于风格化和非人类角色。Avatar V 则通过一段简短的参考视频学习真人的真实动作和习惯,并进行重用,这就是为什么 HeyGen 推荐将其用于高保真的真人数字双胞胎。它们是不同的工具,而不仅仅是版本升级。

价格对比如何?

它们采用不同的计费系统,因此请对比你的实际使用情况,而不是宣传的点数数值。HeyGen 运行在月度点数套餐上,从免费档到每月 $29 的创作者版(Creator)、约 $49 起的专业版(Pro),以及 $149 加席位费的商业版(Business),根据模式不同,Avatar IV 每分钟大约消耗 16 到 31 点数。而在我们的套餐中,Aurora 的定价为每 15 秒 5 点数,在专业版(Pro)及以上档位运行。由于点数单位不同,唯一可靠的对比方式是在每个平台上运行你自己的典型任务。