AIとイラストレーション そして自分の絵をAIで再現してみた!その1

こんにちは、イラストレーションコース のオカモトです。

絵画やイラスト、造形について教える仕事をしていて、いろいろな意味でこのAIの話を避けて通ることができなくなって来ているように思います。もしかして、もう遅いくらいでしょうか? 一部の生徒さんとはそのような話は去年くらいから、度々話題にするようになっていました・・

「これからイラストレーターの仕事は変わるんだろうか」、「何を描き何を学んでいけば良いのか」、 「AIアプリを使ってみたがなかなか思うようなものができない」・・そんな話をしたりします。

AIとイラストレーション創造の未来について

自分もiPadで動くもの、ブラウザで動くものや、MacやWindowsで動くものをあれこれ試してみてるのですが、いまひとつピンと来ないといいますか、すごいとは思うのだけどつまらないというか、しばらく触っていると飽きてしまう・・そんな感じです。それには理由があってあとで述べますが、そんな視点を持っている人も少なくないと思います。

他方で危機感を持っている方はずっと多いかもしれません。呪文さえ唱えれば(そう簡単にはいかないけど)誰もが絵描きやイラストレーター、デザイナー、プログラマーになれるのですから。 だからこそこういう話を迂闊にはできないなと思うわけです。絵を勉強している方、教えている方にはなおさらです。

少し昔、3DCGが一般のPCユーザーの間で流行った頃がありました。高価だったアプリが手がとどくくらいの値段になり、PCの能力も上がりレンダリングが早くなって、誰もが(というわけではないにしても)綺麗でリアルな画像、またはアニメ絵を制作してた感がありました。もちろん絵など全く描けないひとでも人物やメカなどをビジュアル化できました。絵心がある方はさらに良い画材を得たと思ったでしょうか・・個人的にはそんな風に捉えていました。

ですが、今回のAIの話はまったく次元が違います。



生徒さんの中には積極的にAIイラストを試している方もいますし、具体的にはアバターの制作だったりロゴデザインだったり、またブログの挿絵や参考写真の代わりを作ったりしていらっしゃいます。 時には発想の方法や著作権の話、PCのスペックまで話は広がります。

思えばコンセプチュアルアートに傾倒していた時分に、「もし自分の発想の仕方や方法論みたいなのがあってそれをプログラム・機械ができたら、自分の代わりに絵を描き続けることができる・・いや、自分の身体の延長として作り続けることができる!」などと考えてみたことがあります。
おおよそ絵を描くということ、筆に絵の具をつけて紙などに記すということに関してだけですが、昆虫が巣を作ったり餌を見つけたりするようなプログラムで十分ではないかということです。

たぶんその当時には多くの人が同じようなことを考えたのかもしれませんが、4、50年ほど前にウォーホルがちょっと似たような意味で、決められた作業のように絵を描けばいいとか、そのようなことを言ってたかもしれないし(※AIに聞いてみました)、デュシャンやダヴィンチが今の時代に生きてたとしたら、「たとえ永久に作られ続ける独身者の絵画さえも」とか「モナリザのすべて」(想像もつかないですが)とかいう風になっていたかもしれませんね。

※ChatGPTへの質問 「アンディ・ウォーホルが「みんな同じ絵を描けばいい」とか、それに似たことを言ってたような記憶があるのですが、分かりますか?」  

 ChatGPTの回答 「はい、アンディ・ウォーホルは「みんな同じ絵を描けばいい」というような発言をしたことがあります。彼はポップアート運動の一翼を担い、大量生産や大衆文化をテーマにした作品で知られています。ウォーホルはアートの普及や一般化を追求し、個性や独自性にとらわれず、大衆的なイメージやアイコンを題材にすることで、アートを誰にでもアクセス可能にしようと考えていたようです。」

少しウォーホルの意図とはズレてましたが、ChatGPTは質問の意図まで答えてくれているようで・・一見真面目な回答ですが、ウォーホルが個性や独自性について疑問を持っていることについては生成AIの時代を予言しているかのようですね。



AIによるイラスト生成の課題と創造性

しかし、AIに自分の絵画(イラストレーション)を生成させ続けるとはどういうことでしょうか? AIに自分の癖やスタイルを学習させ続けるとしても、外部の要素がないとバリエーションに限界があるでしょうし、逆に癖やスタイルを越境してしまうと誰の絵か判別がつかなくなりそうです。 限られたコンセプト内でしか、あるインスタレーション装置としてしか機能しないのであれば、それはそれでありなのかもしれないですが・・

ネットで見かけるAI生成画像は正に上記のようなものです。モデルとプロンプト、追加学習などで、それとわかるように作られていると思います。とても綺麗にできているので目を引きます。

思い起こせば、ハロルド・コーエンの「アーロン」はその走りとして有名かもしれません。当時(1990年代)はAIと言ってもニューラルネットワークやディープラーニング以前の手法・アルゴリズムで動いていて、明らかに現在のAI生成画像とは違って見えますね。

しかしそれでも、見るものの関心を引くとはどういうことでしょう?
ミニマルアートが鑑賞に値するのと似ているのでしょうか?
ひとは壁のシミを見ても何かを連想するし、火星の写真のある部分を見て知的生命体の痕跡を感じてしまう・・そういう構造になっているからなんですね。



AIによるイラスト生成の魅力と限界:自己発見とアルゴリズムの関係性

他方でインスピレーションで言えば、ランダムに生成されたプロンプトで描かれた絵は、まるで「解剖台の上で、ミシンと蝙蝠傘が出会う」というような突拍子も無いことになっていて、その意図の通り「はっ!」とさせられることもあるわけです。AIにまるで直感があるような振る舞いですね。
このことは楽しいのですが、自分の見た夢でも白昼夢でも無いし、突然事故のように沸き起こった出会いでもないので、意味のわからないスライドショーを見せられているようでもあります。

考えてみれば世の中の絵やビジュアルデザインなどは無数にあって、自分が目にしてるものはその中の数パーセントしかなく、またその中で思い起こすことができるのはほんのわずかと思われるので、AIが生成する物にハッとさせられるというのはまぁ不思議でもなんでもないことだろうと思います。

しかし、冒頭に書いたように、AIに描かせた絵が自分にとってなぜつまらないかというと、単純に自分で描いてないからで、優秀な助手にやらせてる、あるいはある程度完成させられているので付け足す余地が少ない、それをもとに絵を作るとしても無理やりヒントを押し付けられたようで、いまひとつ乗り気になれない・・ようするに自分の考えや発想、身体感覚ではないからでしょうかね。これが記号設置が飛ばされているということですよね。

今のAIはたくさんのことをしっかり覚え、 人が利用しやすいように翻訳してくれる、賢い道具の域を超えていないので、発想が自立したコンセプトやストーリーや意味になり、それが伝播し変容していくような創造的な空間を期待してもしかたないなぁって感じです・・今のところは・・です。

そのうち巷にAIが描いた絵やブログなどが溢れ始めると、それをまたAIが模倣していき、やがてウォーホルの云うような均一化した世界になっていくのでしょうか・・



自作プロンプトによるイラストレーション生成:可能性と課題

とまぁ、いろいろと書いてみましたが、あるものは利用しない手はないですね(笑 ・・というわけで、ここからは生成AIを使った実験の話をしていきたいと思います。

AIのベイシックなモードやモデルを使って、自分の絵の再現、あるいは発想するとしたらどんな方法があるかをやってみました!
無謀ですが、これは言葉と記号の翻訳実験のようなものでしょうか。 自分の絵をAIに翻訳させるのは難しいとしても(Part2で紹介します)、・・今回(Part1)は自作プロンプトを使った一括生成を紹介します。

元々、写実的・具象的な解釈しやすい作品群・スタイルなら(フェルメールやゴッホ、北斎のような専用モデルはあるようですね)プロンプトでなんとかなりそうですが、気まぐれでインスピレーションに頼って描いた作品はモデル化もしにくいだろうと思います。まったくの抽象ではないのだけど、そもそも何が描かれているのかわかりにくく、言語化もしづらいという・・LoRA(追加学習)もサンプルが少なくて作れないだろうと思います。
なので製作手順は最初に作品ありきということで、どこまで再現できるかという実験(お遊び)になります。



課題の自分の絵が上のものとなります。

コンセプトもワクワク感のないほぼ無意識で描いたような絵ですが、これをモデルやプロンプトで表したいのです・・まぁ上記の通り学習データも無いので人にとってもAIにとっても困難な仕事だろうと思います。

「Leonardo AI」によるイラストレーション生成

漠然と制作手順や素材、なるべく具体的なフォルムの情報などをあれこれ試したのが上にある「自分の絵を自分で構成したプロンプトを使って、Leonardo AIで生成した画像その1〜その10」です。上までスクロールしてもう一度見ていただくとなるほどなと思われるかもしれません。

プロンプトの組み合わせとして、ビジュアルの説明というより制作工程を重視して、次のようなセンテンスを使ってみました。このようなトークンの並びはプロンプトとして適さないと思われます。 キャラクターなどの生成プロンプトでも非常に苦労しますからね・・まぁ実験ということでご容赦ください。

「月の裏側を写した大きな写真の上に、濃い色のフリーペイントを重ねて、モダンアート風の画像を作成します。 絵に踊るウサギの 9 つの直線のシルエットの切り抜きを追加します。 次に、構図の上に抽象的な幾何学的な線を描きます。 最後に、Jim Dine にインスピレーションを得た描画スタイルを使用して、多数の白ペンで動物の目の詳細をランダムに追加します。」

「Create a modern art-style image by overlaying a dark-colored free-painting on top of a large photograph of the backside of the moon. Add nine straight-line silhouette cutouts of dancing rabbits on the painting. Next, draw abstract and geometric lines on top of the composition. Finally, use a Jim Dine-inspired drawing style to randomly add numerous white-pen animal eye details.」

上記のプロンプトを軸に語順を入れ替えたり強調したり言い回しを変えたりし、場合によってはモデル・モード・LoRAや他のパラメーターなどを変更しています。プロンプトをこのまま使っていますが、上の手順をChatGPTなどで画像生成用のプロンプトに直してもらうという手もあったかもしれません・・少なくともStable Diffusion用ではないですね。

「SeaArt」によるイラストレーション生成

性懲りも無く、次にSeaArtで同じプロンプトを使って生成したものをいくつか紹介します。 (同じくモードやモデル等はそれぞれバラバラになっていて、プロンプトも若干変化しています。どなたかが目的を持って制作されたLoRAは使わないのが良いかと思うのですが、効果的と思うものは使ってみたりしています。)



SeaArtは比較的簡単にStable Diffusionの機能をWeb上で使えるようにしたサービスですが、なかなか綺麗な画像を生成してくれると思います。同様のサービスは他にもたくさんあってそれぞれ特徴がありますが、2023年の前半に比較的評判の良いふたつのサービスを選んでいます。

SeaArtやLeonardo AI、今回紹介しなかったtensor.art(その2で紹介します)も今のところ無料で、ある程度の機能は使えます。内容が充実すればMidjourneyのように有料になるかもしれませんし、またより使いやすい別のサービスが出てくるかもしれませんね。

あと何点かSeaArtで生成したのを貼ってみます。

ここで紹介しているAIが生成した画像ですが、実際はこれらの10倍以上生成しています。その中でおもしろいなと思ったものを抜粋して紹介しているわけですが、なかなか云うことを聞いてくれないにしても、なんだかどれも自分の絵より完成度が高くて複雑な心境ですね(笑



AIとプロンプトにより変わる生成の成果物

先のプロンプトと照らし合わせて見ると、それぞれ何の単語に引っ張られているか、何の単語を無視しているかがわかると思います。語順を変えてみたり生成されたイメージに足りない言葉を付け加えたり強調したりしてますが、基本的に英文の精度が低いのかもしれないです。

画像によっては月が必要以上に反復されていますし、ウサギの数が違ったりしてますね。『Leonardo AIで生成した画像その1とその2』などは月の円の形とウサギから絵付けされた皿をあてがっている感じがしますし、『Leonardo AIで生成した画像その3とその4』などは「直線」という言葉の影響が大きいでようですね。よく見ると『その4』には参照した作品の作者のサインのようなものが見えます。大丈夫ですかね・・

『Leonardo AIで生成した画像その5とその6とその7』では使用したモデルや一部プロンプトの省略、雰囲気で選んだLoRAの影響で、もはやウサギが役者絵のようになり、どこか芝居のポスターのようになりました。文字もどこの国の文字かわからないように生成されています。まぁ、おもしろいからこれはこれでアリかもしれません。
これらを元に自分が絵を描くとなると、描く意味とか、制作の意義を問うとか、もとから必然性がないのがバレるわけですよね。AI判定にかけると30%くらいな評価になるかもです(笑

次の『Leonardo AIで生成した画像その8とその9とその10』はどこかレトロっぽい絵になっています。プロンプトはほぼ同じなのにモデルを変えるだけでガラッと変化しますね。モダンアートのところを「Jasper Jones style」と入れ替えたのでちょっとそれっぽくなってるのかもしれないです。解釈違いでなければですけど・・



さて今度はSeaArtの方を見てみましょう。

モードはデフォルトで、モデルは「DreamShaper」や「ChilloutMix」、「ReV Animated」などいろいろと試しています。LoRAとの組み合わせで変化したりもします。ネガティブプロンプトも不要なら消します。

『SeaArtで生成した画像その1とその2とその3』をみて見ると、これらはモデルもLoRAなども違いますが、それでもLeonardo AIとは随分違って見えます。どれかのキーワードが引っかかりやすく、何かが無視されている感じがします。プロンプトに対してのCFGスケールでもかなり変わってきますね。CFGは上げても下げても思いもよらないのが出てきます。
それぞれ色鉛筆で描いたような緻密なアナログ感があっておもしろいです。特に「その2」は奥行きまで生成されていてそのまま絵本に使えそうです。AIで生成された画像をさらにAIでアナログ化(絵肌やタッチをより深く!)すれば完璧でしょうか?

『SeaArtで生成した画像その4とその5とその6』では、レリーフ感が強いです。プロンプトにレイヤー構造を書いているのでこうなったのかもしれませんね。どこから拝借されたのかわかりませんが、実際にこんな壁面があると楽しいかもしれないです。おもしろいウサギやそのメタモルフォーゼのようなのがいてて、レンダリングもきれいですね。

『SeaArtで生成した画像その7とその8とその9』はおまけです。こちらが設定を間違えたか、プロンプトをミスったかで、たまにこんなのが生成されます。おもしろいので消さずにおいていました。 下の画像もその他いろいろな条件下の生成物です 



おわりに

いかがだったでしょうか?
今回の「AIで再現してみた」のPart1は以上となります。

このようなやり方が個人的にも世間的にも納得・通用するかどうかはわかりませんが、何かの参考になればと考えています。個人的な感想はまた次回でお話ししたいと思います。

Part2ではオリジナル画像をAIに読み込ませてプロンプトを生成したものを使って、再び画像生成してみます。また、パーツ単位でAIで生成したものを無理やりに手作業で組み立てることもしてみたいと思いますが、それはまた違う機会にでも挑戦してみたいですね。

長い文章を読んでいただき、ありがとうございました!

イラストレーションコースのオカモトでした。
ではまた次のブログでお会いしましょう!

オカモトショーゾー

オカモトショーゾー
Profile
大阪府出身
Nordbrücke版画工房に従事しリトグラフを制作。
1982年大阪靭ギャラリーにて初個展。
造形教室を主催し、油彩や3DCG、
ペーパークラフト、フィギュアなどを制作。
大阪市都市協会ギャラリーにて優秀賞受賞。
ペパクラデザイナーコンテストにて最優秀賞受賞。
Message
変わらない大事なことも多いですが、
技術や流行は変化し流動的です。
同じく個人の世界も絶えず変化しているのでしょう。
そんな中でみなさんといっしょに表現するすべを
楽しくあるいは迷いながら発見し、
学んで行けたらと思っています。
ArtWorks
講師インタビュー

 

イラストレーションコースの紹介はこちらから