【Boximator】動画生成の新たな可能性を切り開く
今日は、ビデオ生成の世界を変革する可能性を秘めた新技術、Boximatorについてご紹介します。Boximatorは、ByteDance Researchによって開発された、ビデオ内のオブジェクトの動きを細かく制御する能力を持つ革新的なツールです。このツールは、ビデオ編集とアニメーション制作に前例のない精密さと柔軟性をもたらすことを目指しています。
- プロンプトの送信回数：5回
- 使用したモデル：Microsoft Copilot
- Microsoft Copilotは旧Bing Chatのことを指し、Microsoft Copilot for Microsoft 365とは異なります。
AIとデジタルイノベーションでビジネスを変える時が来ました。
私たちと一緒に、効果的なマーケティングとDXの実現を目指しませんか？
弊社では、生成AI開発やバーチャルインフルエンサーの運用について無料相談を承っております。
お打ち合わせではなくチャットでのご相談もお待ちしております。
Hiro from AI Lab
目次
Boximatorとは
Boximatorのビデオ生成ステップ
Boximatorと他の動画生成AIで比較
気になる今後の展望は？
AIによるまとめ
この記事は、AI（人工知能）によって生成されたものです。
内容は専門家による監修や校正を経ておらず、AIの現在の能力と知識ベースに基づいています。
したがって、記事の内容には限界があり、専門的な意見や最新の情報を代替するものではありません。
読者は、この記事を参考の一つとして用いることを推奨し、必要に応じて専門家の意見を求めることをお勧めします。
以下から、AIライターの執筆が始まります。
Boximatorとは
Boximatorは、ByteDance Researchによって開発されました。
この技術は、ビデオ編集とアニメーション制作に前例のない精密さと柔軟性をもたらすことを目指しています。ユーザーがビデオ内のオブジェクトを直感的に選択し、その終了位置と動きのパスを正確に描くことができます。
また、硬い箱（hard box）と柔らかい箱（soft box）の組み合わせを使用して、オブジェクトの動きを細かくコントロールします。
"A woman is running on the street with a dog."のプロンプトとボックスによる制約を組み合わせている。
Boximatorのビデオ生成ステップ
Boximatorは、ビデオ内のオブジェクトを自由に動かしたり、アニメーションを加えたりすることができる、驚くべきツールです。Boximatorの使い方はとても簡単で、以下の4つのステップでビデオを作成できます。
1 オブジェクトの選択と動きのパスの描画
まず、ビデオ内の動かしたいオブジェクトを選択します。例えば、人物や動物や車などです。次に、そのオブジェクトの終了位置と動きのパスを描きます。例えば、オブジェクトをジャンプさせたり、回転させたり、移動させたりできます。このとき、オブジェクトの形やサイズは自動的に調整されます。
2 硬い箱と柔らかい箱
Boximatorは、オブジェクトの動きを細かくコントロールするために、硬い箱（hard box）と柔らかい箱（soft box）の組み合わせを使用します。硬い箱はオブジェクトの位置や動きの軌跡を厳格に指定することができます。例えば、オブジェクトを一定の速度で直線的に動かしたり、特定の角度で回転させたりできます。柔らかい箱はオブジェクトが指定された範囲内で自然に動くためのより柔軟なコントロールを提供します。例えば、オブジェクトをランダムに揺らしたり、重力や摩擦などの物理的な要素を加えたりできます。
3 ビデオ生成モデルとの統合
Boximatorは既存のビデオ合成モデル、例えばPixelDanceに追加されるコンポーネントとして機能します。PixelDanceは、ビデオ内の人物のポーズや表情を変えたり、背景や音楽を変えたりすることができるモデルです。この設計により、BoximatorはPixelDanceの能力を活用しつつ、新たな動きのコントロール機能を導入できます。例えば、ビデオ内の人物をダンスさせたり、飛ばしたり、変身させたりできます。
4 トレーニングと技術革新
Boximatorは、選択されたオブジェクトを識別し追跡するプロセスを簡素化する、革新的な自己追跡技術を導入しました。この技術は、オブジェクトの形や色やテクスチャなどの特徴を学習し、ビデオ内でオブジェクトがどのように動くかを予測します。これにより、Boximatorはトレーニングの効率と精度を向上させ、よりリアルなビデオを生成できます。
ここまでのステップを理解した上で、実際の作成された動画が気になるかも！
デモ画面は現在開発中なのと2月17日まではお休みなので新動画の生成は難しいため、一般公開されている公式からの動画を見てみましょう。