Emad氏が、Stable Diffusion2.1で秒間30コマの驚異的速度での画像生成を発表した。これはプロンプトに変更を加える度に即座にリアルタイムで絵が変化するという、今までとは全く異なる使用感が得られる次世代の画像生成を意味しており、ゲームチェンジャーと言えよう。
これは従来20～50ステップ数が必要だったAI画像生成を、わずか1～4ステップで生成出来る、「Progressive distillation」というデノイズ処理（ノイズ削減処理）を大幅に高速化する生成手法（サンプラー）を用いるものだ。
Distilled #StableDiffusion2
— Emad (@EMostaque) 2022年12月1日
> 20x speed up, convergence in 1-4 steps
We already reduced time to gen 50 steps from 5.6s to 0.9s working with @nvidia
Paper drops shortly, will link, model soon
Will be presented @NeurIPS by @chenlin_meng & @robrombach
Interesting eh 🙃 https://t.co/DQJwAaeRBA pic.twitter.com/eQdqsKGSEW
AppleのM2 Macだと１秒以内での画像生成が可能とアナウンスしている。
Stable Diffusionは「拡散」の名前通り、学習と推論にノイズ画像と拡散を利用する。
学習時には原画像にノイズを付与(拡散)するプロセスを行い、推論時にはノイズ画像からノイズを除去するプロセスを行うが、これらの処理はU-Netが担当する。
U-Netも最初は、①生成画像と同サイズのノイズ画像への拡散、②ノイズ画像から1,000ステップものデノイズ処理を行う推論（DDPM）、に相当な時間がかかっていた（一枚生成するのに１時間以上）。
そこでU-Net処理を高速化すべく、まず画像サイズを縮小して行うLatent Diffusion Models（潜在＝Latent空間で学習を行う拡散モデル）の採用で処理時間が1/48程度まで短縮された。
次にステップ数（デノイズの推論回数）を減らす改善が色々と行われてきた。このステップ数（デノイズ推論回数）をへらすための様々な工夫を加えたデノイズ手法をツールではサンプラー（サンプル手法）と称している。現在20から50ステップ程度までステップ数が削減されている（1/50程度まで短縮）。
結果として、Latent Diffusion Modelsの採用で1/50、サンプル手法の改善で1/50、合わせて1/2,500もの速度改善が行われた結果、現在の数秒～数分での画像生成が実現した。
下は現在のAUTOMATIC1111の18種類のサンプラーの一覧。オイラー法（Euler）、ホイン法（Heun）は処理に用いる常微分方程式の数値解法の考案者名から来ている。速い収束を見せるDDIMやPLMSに続き、現在はルンゲ・クッタ法をベースとするDPM-Solverが高速で人気が高い（12個もバリエーションがある。20ステップ程度で収束）。
なお各サンプラーの具体的な実装の違いなどはとても面白く、SONYのYoutubeサイトで詳細を学ぶことができる。
上記の動画の中で「最も高速」と紹介されているのが、今回Stable Diffusionの著しい高速化を実現しようとしているProgressive distillationだ。
間もなくサンプラーに「Progressive distillation」が追加され、わずか1～4ステップでの高速生成を楽しめることになるだろう。下の写真を見る限り、1または4という非常に少ないステップ数でも256ステップ数と差がない。NVIDIAもMacも瞬時に画像が生成出来る様になる。
[LG] Progressive Distillation for Fast Sampling of Diffusion Models
— fly51fly (@fly51fly) 2022年2月2日
T Salimans, J Ho [Google Research] (2022) https://t.co/1i3wJHZQCN #MachineLearning #ML #AI pic.twitter.com/mM62iObDpj
なお新しい高速化手法としては「Denoising Diffusion GANs」もあり、こちらもいずれサンプラーに追加されるかもしれない。
サンプラーが変わると生成される絵も変化する（あまり変化しないものもある）。参考としてネットにあった、現行AUTOMATIC1111の18種類のサンプラーとCFGスケールの違いによるピエロの生成例画像を示す。
今後登場するProgressive distillation、Denoising Diffusion GANsによる生成も同様に絵は変化する。
明らかな方向性を持つ大規模モデルが複数作られつつある。
画像生成を利用する側から見ると、それぞれのニーズに合致するモデルが登場することで2023年以降の制作範囲がより広がりそうだ。以下順に説明。
Stability AIは、Stable Diffusion 2.0を11月24日に公開した。学習モデルは、LAIONが開発した新たなテキストエンコーダ「OpenCLIP」を使用して学習させたものになり、解像度は512×512、768×768を標準で生成する。超解像で2,048×2,048やそれ以上の解像度の画像生成も可能。また新たにDepth2imgモデルが追加されテキストと深度情報の両方を使った画像を生成できる。
しかし最も大きな特徴はより安全なモデルとしてNSFWや著名人の顔情報を削除した点にある。おそらくAppleなど様々な顧客との調整でSFWなモデルの提供が求められたことにより決断と思われる。しかしこれに反発するUnstable Diffusionなどの動きが出てきた（後述）。
Waifu DIffusionは当初からアニメなど二次元データを得意とするモデルだったが、NovelAIDiffusionやNIJIJourneyの登場により劣勢に立たされており、それを挽回すべく膨大な画像データを学習させたモデルを登場させようとしているる。モデルはStable Diffusion1.5ベース（まもなく登場予定）、Stable Diffusion2.1ベース（クリスマス頃登場）の二つを用意する模様。
NSFWや著名人の画像データを意図的に削除したStable Diffusionの進め方に明確に反旗を翻して、NSFWなどの大規模データを学習させるUnstable Diffusion。以下彼らのサイトより。
最近、オープンソースのAI画像モデルをリリースした最後の会社が投資家の圧力に屈し、以前のモデルの大幅に去勢されたバージョンをリリースしました（Stable Diffusion2.0のこと）。
AIのトレーニングから人間とアーティストが大幅に削除されたことで、モデルがそれ以前のバージョンよりも悪いと普遍的に考えられており、その知識を取り戻すためにモデルを微調整しようとすると、数百または数千の画像では意味がありません。画像モデルに享受し期待する機能を取り戻すには、何百万もの画像が必要です。これは高価です。元のモデルの作成には数十万ドルの費用がかかり、ほとんどのモデル作成グループは月に1000ドルも費やすことができません。
主要なオープンソースモデルであるStable Diffusion 1.5(SD1.5)の以前のイテレーションは、強固な基盤として機能し、多くの知識を焼き付けて構築されているため、わずか5ドルで必要なアートスタイルを作成するために微調整できました。現在のモデルは著しく悪化したモデルであり、根本的な問題を解決するために桁違いに多くのコストがかかり、カスタムAIモデルの繁栄しているコミュニティエコシステムを破壊します。
著作権の切れたパブリックドメインの画像データだけを用いた学習モデルを新たに作ることで、誰でも安心して使用できるクリーンなモデルを提供しようとされている。以下は開発元のあるふさんのサイトより。
画像生成AIアドベントカレンダー10日目は、学習用Cool Japan Diffusionの紹介し、それを公開する是非について尋ねます。ただ、モデルそのものの著作権は私にあるので、公開も私の判断で決まります。よろしくおねがいします。https://t.co/yk5POj56Ki
— あるふ (@alfredplpl) 2022年12月10日
Perplexity.aiがOpenAI ChatGPTに刺激されて？動作可能なデモを出した。
これはOpenAI WebGPTに触発されたデモであり、商品ではありません。このエンジンは大規模な言語モデル(OpenAI API)を使用して検索します。精度は検索結果とAIによって制限されます。個人情報を入力しないでください。攻撃的または危険なコンテンツ生成する可能性があります 。Perplexityは生成されたコンテンツに責任を負いません。。
下は数日前のワールドカップに関して質問したものへの回答例。OpenAIに無い情報はwebから情報を収集して回答する様だ。またその場合、収集した各webサイトの情報も併せて併記される。
Stable Diffusionの実装環境の一つであるInvokeAIが2.2にバージョンアップした。
キャンバスを自由に拡張できる OutpaintingおよびInpainting、img2imgをカバー、Mac M1/M2,Windows, Linuxに1クリックインストールを実現している。
導入は、Mac版がAppleの「Core ML」の最適化版ベースになるのを待ってから行う予定。
programmingforever.hatenablog.com
CUIだが対応したノートはある。但しエラーで先に進めなかった。しばらくは様子見。
この記事は前にまとめたGoogleDrive上にAUTOMATIC1111のcloneを実装する運用に、比較実証などで高速にモデルを切り替える方法を加えたもの。AUTOMATIC1111はロードした５つ程のモデルを動的に切り替えて運用出来るが、モデルを高速にセットしたい、あるいはもっと多数のモデルを切り替えたいなどのニーズに応えるべくモデルを高速かつ簡単に入れ替える方法を説明する。ここまで来ると自分のPCで運用しているレベルの便利さを感じられるだろう。
では順に従って実際に行ってみよう。
GoogleDrive上にAUTOMATIC1111のcloneを実装した上で、AUTOMATIC1111を実行するコードは以下のわずか5行だけで動作する（コメント行を除く）。
# ①GoogleDriveマウント
from google.colab import drive
drive.mount('/content/drive')
# ②GoogleDrive上のAUTOMATIC cloneに移動、更新の差分取込 %cd /content/drive/MyDrive/stable-diffusion-webui !git pull https://github.com/AUTOMATIC1111/stable-diffusion-webui
# ③実行 !COMMANDLINE_ARGS="--share --gradio-debug --gradio-auth me:qwerty" REQS_FILE="requirements.txt" python launch.py
※GoogleDrive上にAUTOMATIC1111をクローンする方法は下の記事で説明している。
programmingforever.hatenablog.com
GoogleDriveアプリをPCにインストールすると、Windows、MacでGoogleDriveのフォルダやファイルをあたかも自分のPCのフォルダの様に扱える。
ここでGoogleDriveアプリをインストールする理由は、素早くモデルを移動させるため。
今からの作業では、GoogleDriveに保存した多数のモデルの中から、利用したいものだけをGoogleDrive上のAUTOMATIC1111のcloneの中のモデルを格納するフォルダに入れる必要がある。しかしモデルはいずれも数GB以上あるためコピーの場合は相当に時間がかかってしまう。また大容量なので二重にモデルがあるのも勿体無い。
そこでGoogleDriveアプリを使って、一つの窓に表示したモデル格納フォルダから、もう一つの窓に表示したAUTOMATIC1111のcloneの中のモデルを格納するフォルダへ、モデルをドラッグ＆ドロップするとコピーではなく移動になるので一瞬でモデルが移動する。
下記リンクで「パソコン版ドライブをダウンロード」を選ぶとインストールできる。なお、インストール方法は標準の「ストリーミング」を選ぶとPC側にメモリを食うモデルのファイルを置かなくて済むのでおすすめ。
例えばNovelAI,Anything3.0,EimisAnimeDiffusion,Elysium_Anime_V2,Evt_V3_ema、以上５つのモデルをMyDrive/stable-diffusion-webui/models/sSable-diffusion/に移動させてみる。
前記①のノートを実行する。AUTOMATIC1111が起動したら一番左上の欄にある下矢印をクリックすると、５つのモデルが表示されていることがわかる。ここで好きなモデルを選べば、そのモデルを用いた生成が行える。
AUTOMATIC1111を起動したままで、５つのモデルを総入れ替えしてみる。
今度は852話さんが作られた8528-Diffusion,derrida_final,HD-17,trinart_step6000,wd-v-1-3-float、の５つのモデルを選ぶ
移動が終わったら、AUTOMATIC1111の一番左上の欄の下矢印の隣にあるリロードボタンを押すと、モデルが全て入れ替わっていることがわかる。
この様に高速にモデルを入れ替えることで、多数のモデルの比較実証が容易に行える様になる。
モデル以外のVAEやTIも同様に配置出来る。配置方法などを記載した記事を紹介する。
