MarkdownとBullet Journal

いわゆるプログラマーのつぶやき

colab:model,VAE,Textual Inversion,Dreambooth,Hypernetworkの配置

AUTOMATIC1111へのモデル等の配置

colab上で利用できるAUTOMATIC1111は、各モデルやFine-tuningしたデータを正しく格納すると動的に切り替えられる。以下順に説明する。

①modelの配置:

複数のモデルを動的に切り替える利用や、モデルをマージしたい場合も含め、モデルは全て、/content/stable-diffusion-webui/models/Stable-diffusion/フォルダに格納する。起動後、AUTOMATIC1111の一番左上欄の下矢印をクリックするとモデルを数秒程度で変更できる。

②VAEの配置:

VAEは全て、/content/stable-diffusion-webui/models/VAE/フォルダに格納する。Settingsタブの中央列、Stable DiffusionのVAEで使用したいものを選択した後に「Apply settings」を押すことで複数のVAEを切り替えて使用できる。一つしか入れていない場合は自動で登録されているので作業は不要。

③Textual Inversionの配置:

Textual Inversionファイルは全て、/content/stable-diffusion-webui/embeddings/フォルダに格納する。Textual Inverisonデータは「.pt」や「.bin」の拡張子で、ファイル名をpromptに入力することで使用する。

よってファイル名さえ異なれば、数十個以上の.ptファイルを格納して、プロンプトの呼び出し名(ファイル名)を都度変更することで各TIを利用できる(複数のTIの同時利用も可能)。

正しく使用された場合はログに「Used embeddings: ファイル名 [****]の表記が出る。

④Hypernetworkの配置:

Hypernetworkファイルは全て、/content/stable-diffusion-webui/models/hypernetworks/フォルダに格納する。Settingsタブの中央列、Stable DiffusionのHypernetworkの中から選択後に「Apply settings」を押すと使用できる。「Hypernetwork strength」で強度を変更可能。「Stop At last layers of CLIP mode」も変更可能。

⑤Dreambooth、⑥Imagicの配置:

Dreambooth、Imagicではモデルの様にckptが作られるので同様に、/content/stable-diffusion-webui/models/Stable-diffusion/フォルダに格納する。

Dreambooth利用時はプロンプトに学習時に指定した固有名詞と汎用名称を入れる(例:汎用名称:dog、固有名詞:hanakoで学習した場合:photo of hanako dog

Imagicは学習時にプロンプトを入力しているので不要(なので変更困難で使いづらい)。

⑦DreamArtistの配置:

DreamArtinstは、指定したname(ファイル名)とinitialization text(girlなどの汎用名称)を入れて学習すると、/content/stable-diffusion-webui/embeddings/に、「ファイル名.pt」と「ファイル名-neg.pt」の2つのTextual Inversionファイルが作られる。

学習データは/dream_artistフォルダにあり、利用する「ファイル名.pt」と「ファイル名-neg.pt」は/embeddingsフォルダに入っている

利用時はTextual Inversion同様に、/content/stable-diffusion-webui/embeddings/フォルダに「ファイル名.pt」と「ファイル名-neg.pt」を格納する。

プロンプトにファイル名を入力すると作動する。正しく使用された場合はログに「Used embeddings: ファイル名 [****]の表記が出る。

(例:initialization text:girl、name(ファイル名):test1で学習した場合はプロンプトに「girl」と「test1」が必要)

⑧Aesthetic Gradientsの配置:

Aesthetic Gradientsはstable-diffusion-webui/extensions/aesthetic-gradient/aesthetic_embeddings/フォルダに格納する。

利用可能なAesthetic Gradientsに利用するembedding用データ:

github.com

利用方法はGigazineの記事が詳しい。

gigazine.net

 

GoogleDrive上にAUTOMATIC1111のcloneを実装した場合

下記の別記事では高速起動のためにAITOMATIC1111のcloneをGoogleDrive上に実装する方法を説明した。

programmingforever.hatenablog.com

この様にGoogleDrive上にAUTOMATIC1111のcloneを実装をした場合は、今まで説明した各ファイルのコピー先である/content/stable-diffusion-webui/の部分を、/content/drive/MyDrive/stable-diffusion-webui/に変更することで各Fine-tuningデータを正しい場所に格納できる。