MarkdownとBullet Journal

いわゆるプログラマーのつぶやき

【動画生成】①LUMA Dream machine : AI動画生成のコツ

話題のDream machineを試してみた

2024年7月現在、AIによる動画生成がホットな話題である。無料で高品質な動画が生成出来るLUMA Dream machine、有料だが映画品質の動画が生成できるRunway GEN-3 Alpha、そして現在はアナウンスを受けて登場待ちのOpenAI Soraである。この記事ではまずDream machineに関して簡単な解説と、Dream machineによる動画生成、生成動画の延長や音声追加などの実例を紹介する。

Dream machineとは

Dream Machineはユーザー登録すれば誰でも無料で映画品質に近いレベルの動画を生成できるサービスの名称である。生成動画は、120フレーム(24fps x 5秒)で毎月30本まで作成できる(無料版)。2024年6月12日リリース後、話題を呼んでいる。

各サービスの違い

サービス名 Dream Machine Gen-3 Alpha Sora
開発元 LumaAI Runway AI OpenAI
最長秒数 5秒 10秒 60秒
画像品質 映画レベル 映画レベル
Img2Video OK NG ?
Video編集 NG OK ?
料金 無料利用可 有料のみ ?

利用方法

PCの場合はweb(下記URL)、スマホの場合はアプリインストール。

lumalabs.ai

画面の「Try it!」をクリックして、作りたい動画のテキストを与えれば生成できる。

手持ちの画像を動画にする

画像をアップロードすれば、その画像を元にプロンプトで指示を与えた動画生成が可能。「Enhance prompt」にチェックを入れると(デフォルトでON)、プロンプトに適切な情報を自動追加するので短文のプロンプトの場合は役立つことが多い。またキーフレームという機能もあり、これは2枚の画像を始点/終点で与えるもので例えばアニメなどのフレーム補完が行える。

では早速画像を使って動画にしてみよう。最近はAI画像生成もクォリティが上がり、例えば以下の写真の様な美女が当たり前の様に生成される。失敗画像が無くどれを選ぼうかと悩むぐらいだ。ちなみに下記画像はStable Diffusionを使用して生成したものだ。

①元画像を選ぶ:

特に顔にこだわりがある場合はこの様に顔のアップの画像生成が良いだろう。まず下の女性を選んでみる。

動画にしたい画像

②元画像を拡張/修正する:

これにPhotoshopで背景を加える。

背景を加える

③Dream machineで動画化する

用意した画像を開始とする5秒の動画が生成される。

④動画を延長する

動画の最終フレームを画像保存して、新たな動画生成のための元画像にする。これを繰り返すと理論的にはいくらでも伸ばすことが出来る

⑤動画に音声など加える

ツールはCapcutが無料で使いやすいのでオススメ。

https://www.capcut.com

Capcutに生成した複数の動画を順に配置する。音楽なども簡単に追加出来る。下は作業している状態。

完成した15秒の動画

上記の手順で3本のAI生成動画を連結して音楽も加えたものをYouTubeにアップした。

www.youtube.com

この様に意図する動画が簡単に生成出来る。またPhotoshopを除き全て無料で試す事が出来る。簡単なので是非トライしてほしい。