2022年10月3日追記
NoverAIDIffusionの名前で10月3日からサービスを開始した。導入記事はこちら。
programmingforever.hatenablog.com
想像を超えた進化
MidJourney、DreamStudio、DALL E-2、AUTOMATIC1111、Photoshop連携、Waifu/Trinartモデル利用など日進月歩のAI画像技術を楽しんでおり、今はSD1.5やWD1.3を待っている状態だが、何やらすごいサービスが間もなく始まる様だ。
AI画像生成はブログの挿絵作成や背景の下絵などであれば既に十分なスペックだが、漫画など連続性のあるものには人物画ではAIが生成する毎に微妙に顔が変化するため使いづらいのが現状である。また手や指の表現がまだまだである。
ところがそれらの課題を一気に解決するサービスをNovelAIが発表してきた。
NovelAIが公表している情報を見る限り、SDにアルゴリズムの工夫を加えることで二次元特化を進めている様だ。特筆すべき点を述べる。
- 手足や指の正確性向上
- 同一キャラの作画が可能
- アートスタイルやカラーリングスタイルを切り替え可能
- 背景と連動する、効果的なライティングと劇的なキャラの角度指定
- ストーリー連動型のキャラ生成
- 迫力ある背景の視覚効果
①手足や指の正確性向上
Twitterの画像を見てみる。指や手の表現が素晴らしい。
https://twitter.com/kurumuz/status/1572092237798060033/photo/1
②同一キャラの作画が可能
下記を見ると同じキャラの絵が次々と生成されているのが分かる(トップの画像も参照)。プロンプトにタグを含めることで画像の一貫性を高めるとのこと。AI生成したキャラの3Dモデルあるいは特徴点モデルを抽出/内包するのではと想像している。
https://twitter.com/novelaiofficial/status/1573834063961538563
③アートスタイルやカラーリングスタイルを切り替え可能
Of course, you can switch up the art style or coloring style, if that's what you want! pic.twitter.com/pRTY4fQTIP
— NovelAI (@novelaiofficial) 2022年9月25日
④背景連動の効果的なライティングと劇的なキャラの角度指定
Prompting for dramatic lighting and dramatic angles alongside backgrounds is very effective. pic.twitter.com/OxbKQCsOiP
— NovelAI (@novelaiofficial) 2022年9月25日
これはAI生成したキャラを3Dモデル化しないと難しいはず。どうやって3Dモデルを作るのか興味深い
⑤ストーリー連動型のキャラ生成
We won't have story-based #NovelAI Image Generation at launch, but two separate browser tabs (one for each character) + a third for your story should let you illustrate your tales quite easily!
— NovelAI (@novelaiofficial) 2022年9月29日
The protagonist is trapped arguing in the swamps with his sassy traveling companion. pic.twitter.com/S98TkOY8lU
story-based #NovelAI Image Generationという機能で、ストーリー(のプロンプト?)に連動したキャラを生成できるらしい。この例では主人公は彼の生意気な旅行仲間と沼地で議論して閉じ込められたシーンを描いている。これは、
- 一貫したキャラの生成(顔、体)
- 一貫した服やアイテムの生成
- 一貫した背景(3D空間)の生成
- 3D空間に於けるキャラの配置
- ライティング
- 表情や動きの制御と指示を与えるスクリプト
の実装を意味する。AI画像生成が登場した時に夢見た世界が間も無く使える訳だ。
⑥迫力ある背景の視覚効果
While working on the #NovelAI Image Generation, the team is creating images back and forth with their characters.
— NovelAI (@novelaiofficial) 2022年10月2日
Tonight they are fighting with magic. pic.twitter.com/BYvA2dS7gg
2人のキャラが魔法決戦をしているシチュエーション。この魔法の視覚効果(炎)などを描くのにチームとあるので、複数の生成画像の合成(アニメにおけるセル画:レイヤーのイメージ)を行うのかもしれない。
以上挙げた新機能はいずれも凄い。例えば絵に対して動的なスクリプトを与えるだけでアニメ作成や、クリスタ連携での漫画作成などが絵心が無くても出来そうだ。
NovelAIの画像生成
上の機能がどこまで実装されているのか不明だが、MidJourney同様にDiscordがある。現在は運営側botの画像生成のみ。
プロ用の強力な支援ツール
元々NovelAIは自動小説作成を売りにしている。そのため、ストーリーを与えるとアニメや漫画が自動生成される未来を作ろうとしているのかもしれない。
漫画家が漫画を描く工程は概ね以下の様になる。
漫画家は原作家、監督、脚本家、画家、を全て兼ねていると言える。最大限NovleAIが発展した場合は、
になるかもしれない。ストーリー性や独自性を持つ漫画家には強い武器となり、逆にそれらが弱い方には厳しい時代になると思われる。
今後に期待
発表されている情報に加えて、漫画やアニメの特長とも言える喜怒哀楽の誇張した顔にも対応出来れば完璧だ。いずれにせよNovelAIが使える様になったらクリスタ連携で漫画作成を試そうと思う。