今回は写真を使っての背景制作をやってみたいと思います。

NovelAIで背景!?って思われるかも知れませんが、意外とアニメ調の絵を出してくれるんですね。

ダイナミックや芸術的な背景はミッドジャーニーの得意なところですが、イラストやゲームに使いやすい背景を制作してくれるのはNovelAIかも知れませんよ。

また、いざ背景を作ろうとしても呪文から画像を制作するとなかなか狙った構図が出にくかったりすることが多いと思います。

しかし、そこを写真から背景を起こすことによってある程度狙った構図通りに背景を制作することが可能なんですね。

これってかなり重要で、キャラクターのパースに合わせた背景が欲しかったり、ゲームなどで画面の中央にアイレベルが欲しいという場面もあると思います。

それにカメラで撮った背景だと使うレンズによって焦点距離も自由に変えられる利点もあります。

例えばパースがついているキャラクターの背景だと当然広角レンズで撮った背景の方が自然ですし、望遠で撮ったようなパースがついていないキャラクターだと当然望遠レンズで撮った写真の背景の方が自然になります。

今回はそんな写真から背景を作る方法と時間帯を変えたり、季節を変えたり、ちょっと写真と違う要素を組み合わせてみた背景制作を検証してみました。

それでは、実際に制作していきましょう!


img2imgとは

img2imgは画像から画像を生成する方式を言います。
例えば下図のような鉛筆で描いたりんごの絵からりんご
の画像を生成するという感じです。

img2img

ちなみにテキストから画像を生成する方法をtxt2img
と言います。

txt2img


つまり呪文から画像を生成する方が有名ですが、
これはtxt2imgというわけですね。
というわけで今回はimg2imgを使っていきます。



写真を取り込んで背景イラストにしてみよう

写真のUploadはこの図の⑨番Upload Imageを押すと写真を選択できます。

Upload Imageが完了すると左側に読み込んだ写真が表示されています。

②. 次に写真に写っている物や表現したい物の呪文を入力します。

③. 右側にあるSettingsで生成解像度とStrengthとNoiseを調整してGenerateボタンを押します。

他にもScale値やSeed値なども変更可能です。
それでは実際に写真を読み込んで生成してみましょう。

今回は呪文にmasterpiece、ネガティブプロンプトに
low quality, low quality illustration, low quality background
を使用しています。

作例1 草原

実際に写真を読み込みます。写真を絵にすると下のようになりました。

Strengtheの調整度合いによって絵柄が変化します。

Strength0.1からStrength0.4あたりまでは写真のような絵柄に0.6あたりで写真の構図を維持しながらイラストのようになっていきます。

Strength0.7以降になってくると写真の構図を無視し始めますが、イラスト自体は美しくなっていくようですね。

使用用途でどこまで崩して良いのか考える必要があると思います。

作例2 川辺

次は川辺の写真を見てみましょう。

やはりStrength0.6あたりまでは構図を維持しています。

Strength0.7以降になってくるとやはり写真の構図を無視し始めます0.99になるともはや見ている高さまで変わっていますね。

Scaleの作例

こちらはScaleの作例です。

Scale値4だとコントラストが低いですね。Scale値11が標準的
Scale値20はコントラストが高くなっています。
アニメ調なら少し高いくらいでも良さそうな感じです。



写真を時間帯や季節を変えてイラストにしてみた

写真の時間帯や季節を変える方法

時間帯を変える方法は呪文の中に時間帯を変える呪文を追加するだけです。
例えば夕方にしたい場合は夕日である「sunset」を追加します。

この場合、夕方の呪文でも良さそうですが、なるべく頭の中のイメージにある夕日を呪文として入れた方がイメージ通りになりやすいです。

例えば朝であれば朝日である「sunrise」といった感じです。
夜であれば月や星空などの具体的な呪文を入れた方がイメージ通りになりやすいです。

雪景色にしたい場合は「snow scene」の呪文を追加します。

夜にしてみる

写真を絵にすると共に時間帯を変えてみました。呪文に夜である「night」を加えて生成しました。

Strength0.6だと明かりが点灯していますが、まだ空が明るいです。
Strength0.8からしっかりと夜の描写になりました。
ただ、構図を無視し始めるのでお気に入りが出るまで何回か回して見るのが良さそう。


夕方に変えてみる

写真を絵にすると共に時間帯を変えてみました。
呪文に夕日であるsunsetを加えて生成しています。

Strength0.6あたりだとほとんど写真と変わりがありません。
Strength0.99になると完全に夕方の風景になりました。
ただ、構図を無視し始めるのでお気に入りが出るまで何回か回して見るのが良さそう。

冬景色に変えてみよう

写真を雪景色に変えてみました。

呪文に雪景色であるsnow sceneで生成してみました。
雪を降らせる効力が高いせいかStrength0.5あたりからしっかりと雪が降っています。

あまりStrengthを上げすぎると西洋風の建物になってしまいましたので上げすぎない方が良さそうです。

もしくは呪文で調整可能!?


写真をあおりや俯瞰に変える方法

あおりや俯瞰に変える方法は呪文の中にあおり構図にする「from below」俯瞰構図にする「from above」の呪文を追加するだけです。

俯瞰を試す

写真を上から見た俯瞰に変えてみました。
俯瞰にするには「from above」を使用します。

しっかりと写真を上から見ている絵になってきていますね。
Strength0.8でほぼ完成している感じがします。

あおりを試す

写真をあおりに変えてみました。
あおりにするには「from below」を使ってみました。

写真を下から見ている絵になってきていますね。
こちらもStrength0.8から完成しています。
レンズ特有の歪みまで再現されています。
Strengthを上げても海なのでそこまで改変されているのが気になりにくいです。

作例

それでは、最後に作例をみていきましょう。



まとめ

いかがでしたでしょうか。

背景っていろんな場面で使用すると思います。

例えばイラストの背景やゲームの背景などですね。

しかし、txt2imgだとほんわかしすぎて狙ったイラストになりにくい場合、このように写真を使えばある程度狙った構図になりやすいと思います。

また、多少の変更も呪文で補正することが可能で、ある程度アイレベルを変更したり、時間帯を変更したり、季節を変更したりできましたね。

ただ、構図が変化してしまいますので、どこまでそれを許容できるか、という感じになると思います。

写真からの背景生成は色々と使用できる場面は多いと感じました。

ここまで生成してみましたが、やはりAnlasの消費は激しいのでそこは覚悟しておいた方が良いでしょう。

動画で見たい場合はYoutubeへどうぞ
チャンネル登録よろしくね!