Stable Diffusion WebUI Forge でアニメを実写化してみる

インストールしてからほぼ使っていない「Stable Diffusion」ですが、ここ最近、YouTubeなんかでよく見かける「アニメの実写化」ができるんじゃないかと思い、早速やってみました。

とりあえず、新しいバージョンがないか調べてみたところ「Stable Diffusion WebUI Forge」というのがあったのでインストールしてみました。

今回は「AUTOMATIC1111(A1111)」の時より、サクッとインストールできました。

無事起動できたので「ブチ切れ令嬢は報復を誓いました。」というアニメのエリザベート-レイストンを実写化してみます。
ちなみにこのアニメが特別好きという訳ではなく、なんとなく簡単にできそうだったから(^^;)

これが元画像です。

これが実写化した画像です。

洋服など、細かいところは違いますが、なんとなくそれっぽくできたんじゃないでしょうか。

最初、ぜんぜんうまくいかず苦労したんですが、最終的に以下の設定で落ち着きました。

以下、img2imgの設定

モデル:Meichidark_Mix

プロンプト:
masterpiece, best quality, detailed, 8K, photo realistic, japanese, beautiful eyes, blue eyes, book, right hand, (white straight tie), ruffles collar, beautiful finger

ネガティブプロンプト:
(worst quality:1.4, low quality:1.4, normal quality), error, watermark, username, text, sketches,painting,2d,illustration,graphic,doll, EasyNegativeV2, bad-hands-5

Resize mode:Just resize
Sampling method:DPM++2M
Schedule type:karras
Sampling steps:30
Resize to WidthとHeightは元画像に合わせる
Batch count:1
Batch size:1
CFG Scale:5
Denoising strength:0.8

以下、ControlNetの設定

ControlNet Unit0:チェック
Enable:チェック
Pixel Perfect:チェック
Preprocessor:tile_resample
Model:control_v11fle_sd15_tile[a371b31b]
Control Weight:0.4
Timestep Range:0~1
Control Mode:Balanced

今回、アニメの実写化をやって思ったこと。 モデルとDenoising strengthの値で、おおまかなイメージは決まります。

あと、やっぱり指は不自然…