
最先端の拡散トランスフォーマーモデル(DiT)は、プロ仕様のスタジオグレード、アバターを基にした動画広告を作成するために特化して設計されています。今日からCreatifyで利用可能です。
Aurora – オーディオ駆動の超リアルなリアクティブアバターのレンダリング – はジェネレーティブAIの画期的な進歩であり、特に広告主、マーケター、コンテンツクリエイターがプロのスタジオグレードのビデオ品質を求めている方々に向けてデザインされています。Auroraは、1枚の人の写真(実在またはAI生成)と音声や歌の音声クリップを提供するだけで、その人が話したり歌ったりする高忠実度のスタジオ品質のビデオを生成します。このマルチモーダル基盤モデルは、広告主、マーケター、コンテンツクリエイターなどの主要ユーザーを念頭に置いて構築されており、リアルな表現豊かなアバターを提供し、まるで本物の人間のように動き、感情を表現します。
想像してください、1枚の静止画像が突然微笑んだり、瞬きをしたり、メロディを歌い上げたりする様子を– すべて1枚の画像と音声ファイルから生まれるのです。Auroraはこれを可能にし、コンテンツ制作とバーチャルストーリーテリングの新たなフロンティアを切り開きます。
他の方法と比較したベンチマークによると、Auroraには以下の強みがあります:








Auroraの核心には、生成アバター合成のために目的設計された拡散ベースのマルチモーダル基礎モデルがあります。私たちは、さまざまなモダリティからの情報を処理するために、画像エンコーダー、テキストエンコーダー、音声エンコーダーを含む新しいアーキテクチャを採用しています。これらすべての情報を融合し、音声やテキスト入力に合わせて動くアバターを生成します。効果的な融合を確保するために、私たちは特別なモダリティ情報交換チャネルを設計し、すべてのモダリティが潜在空間でよく整合し統合されるようにしました。この新しいアーキテクチャにより、私たちのモデルは人間の表情における微妙なディテールを捉えることができます。音声の感情的な手がかりを活用して、自然な人間の反応を反映する視覚的な出力を生成します。
拡散モデルは画像を反復的に改善することで動画を合成し、Auroraがすべてのフレームで写真のようなディテールと時間的整合性を維持できるようにします。その結果、以前の手法を悩ませていた不快な不具合や不自然なアーティファクトのない、滑らかで自然な動きが実現します。かすかな瞬きから肌や髪の質感まで、Auroraのリアリズムは最先端の生成科学によって支えられています。初期テスターたちは、Auroraの動画が実際の映像と比べても自然で表現豊かであることに驚いています。アバターは元の写真の人物によく似た姿のまま、視線を合わせ、適切な瞬間にジェスチャーを行います。広告主やクリエイターにとって、このレベルのリアリズムは重要です。ビジュアルがリアルに感じられると視聴者は没入し、引き込まれ続けるため、特にマーケティング動画で効果を発揮します。
Aurora とこれまでのリップシンクモデルの重要な違いは、Aurora が単なるリップシンク以上のものであるということです。デジタルアバターに完全な人間の表現力をもたらします。生成されたアバターは、リアルな顔の表情や頭の動き、さらには上半身のジェスチャーさえも示します。例えば、話している間に眉を上げたり、うなずいたり、手を使って強調したりするかもしれません。このようなニュアンスにより、アバターのパフォーマンスは本物らしく、魅力的に感じられます。
従来のトーキングヘッドジェネレーターは静的に見えたり、口だけを動かしたりしていましたが、Aurora は全体の人格をアニメートします。アバターは視線を移動させたり、自然に瞬きをしたり、スピーチに合わせたリアルな手の動きを実行したりできます。この表現力のレベルにより、Aurora のアバターは言葉を超えたコミュニケーションを行い、ボディランゲージを通してトーンや感情を伝えます。すべての笑顔、しかめっ面、肩をすくめる動作は、コンテキストに合わせて生成されます。その結果、アバターはカメラ上で本物の人と同じように振る舞い、アニメの操り人形とは異なります。これほどリアルな動きにより、Aurora のアバターは、人間のような本物の信頼性を持ってブランドのメッセージを伝えるテレビコマーシャルの説得力のある画面上のスポークスパーソンとしても活躍できるでしょう。
Auroraの最も注目すべき特徴の一つは、たった一枚の画像で動画を作成できることです。一枚の写真を参照するだけで、Auroraは音声やテキストスクリプトがある限り、その人物が話したり歌ったりする一貫したリアルな動画を生成できます。複数のアングルを撮影する必要も、何時間もの映像でモデルをトレーニングする必要もありません。Auroraはゼロショットで動作します。写真を音声クリップやスクリプトと共にアップロードするだけで、あとはモデルがすべて行います。
たった一枚の画像しかないにも関わらず、モデルは各フレームでキャラクターのアイデンティティと外見を保持します。Auroraの設計により、アバターの顔と体は常にモデル通りに保たれます(他の誰かに変形したり、モデルから外れたりすることはありません)。特殊なセットアップは不要です。カジュアルなスマートフォンの写真や、AIで描かれたキャラクターポートレートですら、Auroraの能力を引き出すのに十分です。これにより、インディークリエイターからマーケティングチームに至るまで、誰もが簡単に高品質なアバター動画を作成できるようになりました。写真を選び、音声クリップを追加し、Auroraにパフォーマンスを生成させるだけで済むのです。
Auroraの超リアルな音声駆動アバターは、無数のアプリケーションへの扉を開きます。広告主、マーケター、クリエイターがAuroraを利用できるいくつかの方法をご紹介します:
Auroraは、写真と伝えたいことさえあればリアルなトーキング動画を簡単に作れる、新しい時代の到来を告げます。
私たちの目標は、超リアルなアバターアニメーションの境界を押し広げ、画像の中の人物が本当に生きていて表現力豊かで、ビデオでコミュニケーションをとっているように見せることです。クリエイター、広告主、マーケターの皆様にこの可能性を活用していただくために、Auroraを立ち上げることを楽しみにしています。これはストーリーテリング、コミュニケーション、デジタルマーケティング、イノベーションのための強力なツールになると信じています。皆様がこれを使って何を生み出すのか、非常に楽しみにしています。皆様からのご意見を元に、このモデルをさらに改善していくことに心を躍らせています。
現実と仮想の境界線はますます曖昧になり続け、Auroraを使えば、あなたのデジタル版があなたと同じくらい鮮烈に語ることができます。私たちのマーケティングパートナーにとって、これは視聴者の注意を引きつけ、キャンペーンのパフォーマンスを向上させる超リアルな動画コンテンツを提供できることを意味します。結局のところ、最高品質の動画が広告においてより良いコンバージョン率をもたらすことが多いのです。自然で表現力豊かなアバターの未来へようこそ!