MarkdownとBullet Journal

いわゆるプログラマーのつぶやき

NovelAI の情報に妄想膨らむ

NovelAIのツィッターで公開された画像。同一キャラの絵を多数作成

2022年10月3日追記

NoverAIDIffusionの名前で10月3日からサービスを開始した。導入記事はこちら。

programmingforever.hatenablog.com

想像を超えた進化

MidJourney、DreamStudio、DALL E-2、AUTOMATIC1111、Photoshop連携、Waifu/Trinartモデル利用など日進月歩のAI画像技術を楽しんでおり、今はSD1.5やWD1.3を待っている状態だが、何やらすごいサービスが間もなく始まる様だ。

AI画像生成はブログの挿絵作成や背景の下絵などであれば既に十分なスペックだが、漫画など連続性のあるものには人物画ではAIが生成する毎に微妙に顔が変化するため使いづらいのが現状である。また手や指の表現がまだまだである。  

ところがそれらの課題を一気に解決するサービスをNovelAIが発表してきた。

twitter.com

  NovelAIが公表している情報を見る限り、SDにアルゴリズムの工夫を加えることで二次元特化を進めている様だ。特筆すべき点を述べる。

  • 手足や指の正確性向上
  • 同一キャラの作画が可能
  • アートスタイルやカラーリングスタイルを切り替え可能
  • 背景と連動する、効果的なライティングと劇的なキャラの角度指定
  • ストーリー連動型のキャラ生成
  • 迫力ある背景の視覚効果

①手足や指の正確性向上

Twitterの画像を見てみる。指や手の表現が素晴らしい。

NovelAIのTwitterより拝借
NovelAIのTwitterより拝借

https://twitter.com/kurumuz/status/1572092237798060033/photo/1

②同一キャラの作画が可能

下記を見ると同じキャラの絵が次々と生成されているのが分かる(トップの画像も参照)。プロンプトにタグを含めることで画像の一貫性を高めるとのこと。AI生成したキャラの3Dモデルあるいは特徴点モデルを抽出/内包するのではと想像している。

NovelAIのTwitterから拝借

https://twitter.com/novelaiofficial/status/1573834063961538563

③アートスタイルやカラーリングスタイルを切り替え可能

④背景連動の効果的なライティングと劇的なキャラの角度指定

これはAI生成したキャラを3Dモデル化しないと難しいはず。どうやって3Dモデルを作るのか興味深い

⑤ストーリー連動型のキャラ生成

story-based #NovelAI Image Generationという機能で、ストーリー(のプロンプト?)に連動したキャラを生成できるらしい。この例では主人公は彼の生意気な旅行仲間と沼地で議論して閉じ込められたシーンを描いている。これは、

  • 一貫したキャラの生成(顔、体)
  • 一貫した服やアイテムの生成
  • 一貫した背景(3D空間)の生成
  • 3D空間に於けるキャラの配置
  • ライティング
  • 表情や動きの制御と指示を与えるスクリプト

の実装を意味する。AI画像生成が登場した時に夢見た世界が間も無く使える訳だ。

⑥迫力ある背景の視覚効果

2人のキャラが魔法決戦をしているシチュエーション。この魔法の視覚効果(炎)などを描くのにチームとあるので、複数の生成画像の合成(アニメにおけるセル画:レイヤーのイメージ)を行うのかもしれない。

以上挙げた新機能はいずれも凄い。例えば絵に対して動的なスクリプトを与えるだけでアニメ作成や、クリスタ連携での漫画作成などが絵心が無くても出来そうだ。

NovelAIの画像生成

上の機能がどこまで実装されているのか不明だが、MidJourney同様にDiscordがある。現在は運営側botの画像生成のみ。

discord.gg

 

プロ用の強力な支援ツール

元々NovelAIは自動小説作成を売りにしている。そのため、ストーリーを与えるとアニメや漫画が自動生成される未来を作ろうとしているのかもしれない。

漫画家が漫画を描く工程は概ね以下の様になる。

  1. 漫画のテーマを選ぶ
  2. ストーリーを作る
  3. キャラを作る(用意する)
  4. コマ割りを考える
  5. ラフに人物などを配置
  6. 精細に書き込み
  7. 吹き出しスクリーントーン動線を追加

漫画家は原作家、監督、脚本家、画家、を全て兼ねていると言える。最大限NovleAIが発展した場合は、

  1. 人間:漫画のテーマを選ぶ
  2. AIツール:ストーリーを自動生成
  3. AIツール:ストーリーに合ったキャラを生成
  4. AIツール:コマ割り、人物を自動配置
  5. AIツール:吹き出しスクリーントーン動線を自動生成

になるかもしれない。ストーリー性や独自性を持つ漫画家には強い武器となり、逆にそれらが弱い方には厳しい時代になると思われる。

今後に期待

  発表されている情報に加えて、漫画やアニメの特長とも言える喜怒哀楽の誇張した顔にも対応出来れば完璧だ。いずれにせよNovelAIが使える様になったらクリスタ連携で漫画作成を試そうと思う。