MarkdownとBullet Journal

いわゆるプログラマーのつぶやき

Stable Diffusionで手書きの絵から画像生成

Stable Diffusionのimage2image

雑な手書きの図から綺麗なイラストを作成する方法としてimg2imgがStable Diffusionには最初から搭載されている。Stable Diffusionのこの機能を試すにはこれまでローカルやクラウドにインストールが必要だったが、現在簡単に試せるサイトがある。

①DreamStudioの機能追加

Webサービス版として提供されているDreamStudioにimg2img機能が追加された。画像のuploadに対応している。

②diffuse-the-restサイト

こちらは画像のupload以外にマウスでの手書き機能もサポートしている。

huggingface.co

とりあえずマウスで適当に鳥の絵を描き、プロンプトで「鳥」を指定して生成した例を示す。

手書きの鳥の絵から生成

手書きの鳥の絵から生成

何が得られるか

この機能は、すでに活用されている、参照したいwebページを指定して得たいイメージを入手する方法に似ている。構図など含めた構成を文章ではなく手書きイラストでサッと指定出来るのは便利だろう。用途例としては、アニメのコンテ図から原画作成を行うプロセスの代替などが考えられ、大幅な作成の時間と手間が省けるだろう。誰でもアニメを作れる時代が近いのかもしれない。

作成のコツ

手順を載せたwebサイト。

andys.page