イラストレーションコース のオカモトです。

前回の自分のブログ「その1」ではAIを使ってプロンプトのみで作品の再現を試みました。プロンプトにはAIそれぞれに書き方があって、プロンプトエンジニアという方もいらっしゃるくらいです。もちろん巧みな言葉でひとつの絵を表現できるなら絵を描く必要はないわけですが、ビジュアル的なもののある部分は言語や記号と同じ働きをするならある程度の翻訳(解説や説明)は可能でしょうか。

とはいえアーチストの制作の代わりをするには程遠く、子供の描く絵などもそのように描くのは苦手ではないかと思います。膨大なデータからそれらしい絵は生成できても、現状は似て非なるものだろうと推測します。夢に出てくるおぼろげなイメージを無理やり具体的に再現するような感じでしょうか。でも夢には意味づけが行われたりしますよね・・

では、生成される画像をそれとは知っていたとして、惹きつけられたり、感動することはまずないと言えるでしょうか？

AIを使って描いた絵がコンクールで入選したり、AIで生成した画像集が売られていたりするということは何か人の心を揺さぶるものがあるということでしょう。幸か不幸か人は騙されやすく、錯覚、錯視、思い込み、生理的反応でものを見たり選んでいます。AIはそれらを含めて学習しているので、データセットによっては非常に惹きつけられるのも自然かなと思うわけです。
心のないものが描いたとて、人の感情にも作用するんですね。

AIはどのように絵を解釈してくれるのか？

今回は前回の続きとして、自分の絵をAIが解釈したプロンプトを使って、あるいは直接自分の絵から直接生成したものを見ていただこうと思います。

ちなみに使う絵は前回と同じく下のものです。

とりあえずはCLIP Interrogator 2.1(画像からプロンプトを生成するプログラム)でのプロンプト変換・・

2023年の10月現在では、もっと良いものがあるかもしれませんし、本来は生成された画像からそのプロンプトを推測するという用途が主なのかと思いますが、今回の使い方もAIを探る意味では面白いかもしれませんね。

下が返ってきたプロンプトと日本語訳になります。 何がなんだかって感じですが、トークンの並びには生成時と同様に意味があると思われますのでこれらを使います。

「a close up of a painting on a piece of paper, by Géza Udvary, metaphysical painting, the nine circles of hell, trash polka, night time, 中 国 鬼 节 , tempera on wood, 62 x 47 inches, jemal shabazz, neo - expressionism, hurricane, dark and dim」

「紙の上の絵のクローズアップ、ジェザ・ウドヴァリ作、形而上学的な絵画、地獄の九輪、ゴミポルカ、夜間、中国鬼节、木のテンペラ、62 x 47 インチ、ジェマル・シャバズ、ネオ表現主義、ハリケーン、暗くて薄暗い」

Géza Udvary・・あまり聞いたことがないハンガリーの画家、jemal shabazz・・人物でしょうか？ neo - expressionism・・新表現主義、バスキアの仲間と思われているのは嬉しいですかね。

AIのプロンプトを使ってのLeonardo.AIでの生成

それで、上のプロンプトをLeonardo.AIで生成したら下のような画像が出力されます。

それぞれオリジナルに近くなるように、またプロンプトの再現を見ながらモデルを選んでいます。サンプラーはLeonardo. AIのオリジナルで、LoRAやネガティブプロンプトはほとんど使っていません。大抵のモデルのサムネイルが人物やキャラクターなので選択に困りますが、思いもよらぬものが生成されるの見たさに色々と試したりはしています。

下の画像は上の「Leonardo.AIで生成した画像その1とその2」のインフォメーションです。 Leonardo.AIでのモデルの選択は勘です・・雰囲気やタッチなどを再現性というより好みで選んでいます。人物が現れることが多いので、ネガティブプロンプトに「人」を入れると良いかもですが、かすかに現れる分については面白いので残しています。



Leonardo.AIはクオリティーの高いMidjourneyを意識していると思われるのですが、Stable Diffusionの機能を使いやすく導入しているので、初心者にもわかりやすく利用できるサービスだと思います。

画像生成AIのWebサービスは数多くあり、マシンパワーの必要な生成作業を短時間で行ってくれていて、Leonardo.AIやこの後紹介するSeaArt.AiやTensorArtなども汎用性も高く非常に利用価値の高いサービスではないでしょうか。それぞれ無料枠があり今の所ある程度のことはできますね。

あと、モデルを変えたりしたバリエーションを3つばかし・・どれもペインティング感がいいですね。絵の具の垂れなども自分で作為的にするより自然な感じです(笑



次はSeaArt.Aiに持って行ってみましょう。

AIのプロンプトを使ってのSeaArt.Aiでの生成

SeaArt.AiもLeonardo.Ai同様に無料で多くの機能が使え、とても使いやすいと思いますが、インターフェース等、よりStable Diffusionに近づけているように見えます。　ユーザーが増えればLeonardo.Aiのように、無料ユーザーは制約が増えてくるのではないかと思われます。

あとでTensorArtでの生成も紹介しますが、そのWebサービスもSeaArt.Aiとよく似ています。どれか１つに慣れれば他のものでもなんとなく使えます。生成アルゴリズムがオリジナルだとしても、似てたり選べたりするようですし、生成されるものにはモデルデータなどの影響が大きいわけで、画像生成AIのサービスが異なったとしても条件を近づけていけば似た感じのものが生成されるのかもしれません。

下のその1からその6までがSeaArt.Aiで生成したものとなります。 それほどシリアスな感じになったとか、ポップになったとかはないと思います。雰囲気が違うとしたら適切なモデルが見当たらなかったということもありますが、いろいろと変えてみたいと思ったからでしょうね・・



その1の、絵肌の感じ、焼けて炭化した文化財のようでおもしろいです。こういうのは実際には描けないので、レリーフを作って朱塗りしてバーナーで焼いていくしかないですかね。

その2はどこか岡本太郎ぽい色彩と塗りがあるように思います。もっとも岡本太郎のような戦略的な絵ではなく、影の一族のような寄生獣のようなものがうごめいていますが・・

その3にはカオナシがいるのでしょうか・・どこか妖怪達のお祭りを描いているような印象です。ブリューゲルの群像宗教画のようにも見えます。ぐるぐるぽんが楽しいです。



月やうさぎがどこかに行ってしまっているので、若干プロンプトに加えたりします。 その4はよくわかりませんが、その5、その6にはそれらしきものが出ていますね。プロンプトが同じでもモデルによって全く違ったタッチになるのでおもしろいです。

精度的にはどうかわかりませんが、SeaArt.AIでは日本語のプロンプトも使えます。 下の図がSeaArt.AIの創作の画面になります。プロンプトの加筆やパラメータの状態がわかると思います。モデルによって人物の出現が強くなったりするので、ネガティヴプロンプトに「人」などを入れています。



次はTensorArtを見てみましょう。

AIのプロンプトを使ってのTensorArtでの生成

使い方はSeaArt.AIとよく似ています。使い込んでないので機能的なことは詳しくはわからないですが、img2imgやコントロールネットも使いやすそうです。しかし、TensorArtの方はフリーでは2枚づつしか生成されません。

Stable Diffusionは常に更新されていて拡張性も高いのですが、その分情報収集やメンテナンス等に時間をかけなければいけないヘビーユーザー向けですので、ここで紹介しているようなWebサービスは取っ付きやすく非常にありがたいですね。

下のその1からその6までがTensorArtで生成したものとなります。 プロンプトはCLIP Interrogator 2.1の出力した同じものを使います。場合によって付け足したり変更したりします。モデルは標準デフォルトのでも良いのかもしれませんが、絵画やペインティング、ドローイングに強そうなモデルを探します。でも、あまりおもしろくないのはモデルのせいでしょうか？だんだんと見飽きてきたからでしょうか(笑
作者の意図や時代背景など、作品の裏付けとなるストーリーがあればもうちょっと楽しいかもですね。



TensorArtで生成した画像その1・・このクラゲのような雲のようなものはハリケーンからの連想でしょうか？連想ではなくて確率的な関連付けですかね。他の生成画像にも色濃く浮かび上がってきています。使うモデルの研究としてはプロンプトの影響範囲を１つづつ見ていくというのも勉強になるかと思いますが、それはすごくアナログ的な作業に思えて本末転倒な感じもしますね。

TensorArtで生成した画像その2その3・・インパストやペインティングの要素の強い生成になっています。「ペインティングのクローズアップ」によるものかと思われます。どれも円が度々出現しますが、これもハリケーンや月夜なども関連している可能性も感じられるんですけど、「地獄の９つのサークル」が決め手のように思います。



TensorArtで生成した画像その4・・その1と同じ条件下での生成ですが、随分と違う印象です。左下には木版画のようなテクスチャーがありますね。このような質を表すことができるのも、ひとつのモデルが持っているパラメーターや容量が相当大きいからだと思います。使用したモデル名にはだいたいSDXL(新しい基本モデル)の名前が入っているものを使用しました。

TensorArtで生成した画像その5その6・・それぞれ違うモデルですが人物が出ているものもありますね。 ネガティブプロンプトとして「man, character」　とか入れたりしてみるのですが・・



上の画像がTensorArtの創作(生成)画面になります。 Leonardo.AIやSeaArt.Aiとよく似ていますね。１つの操作に慣れると他でも応用がきくと思うのはこの操作画面が似ているからですね。

とりあえず自分の絵に近づけられるようなベースモデルやスタイル(LoRA)を選ぶことは、組み合わせをその作業の中で思いもよらぬおもしろいイラスト(画像)が生成されるのが楽しかったりはします。

他のAIアプリによる画像からのプロンプト生成例

今回、CLIP Interrogator 2.1による画像からのプロンプト生成のみで生成しましたが、他にもプロンプトを生成してくれるサービスはあるようです。以下の3つのプロンプト生成も試してみました。

● VersatileDiffusuon

india painting, red, artwork mil <unk> on canvas, dead rock of canvas and canvas off canvas in his garage. painting on canvas, in pro black, charcoal <unk> canvas, painting torta wari art, fur gold and writing wind & death piece of classical artwork finished on canvas, red, canvas painting on canvas in record time, unique painting of man's life, life as

インドの絵画、赤、キャンバス上のアートワーク ミル <アンク>、キャンバスのデッドロック、ガレージにあるキャンバスから離れたキャンバス。キャンバスに絵を描く、プロブラック、チャコールキャンバス、絵画のトルタワリアート、毛皮の金、風力＆死の執筆 キャンバスに仕上げられた古典的な芸術作品、赤、記録的な速さでキャンバスに描かれたキャンバス、人間の人生、人生を描いたユニークな絵画

● Easy Diffusion

a painting of a bunch of black and red flowers, an ultrafine detailed painting by Julian Schnabel, featured on pixiv, gutai group, academic art, artwork, mixed media

黒と赤の花の束の絵、ジュリアン・シュナーベルによる非常に精緻な絵画、ピクシブで紹介、具体グループ、アカデミックアート、アートワーク、ミクストメディア

● SeaART.AI画像情報

赤い目をした白黒猫と白黒猫の絵, ベンジャミン・マラの抽象画, レディット, 形而上絵画, '無題9', 粘土形態を持つミクストメディア, オーバーロード, 目が見えない, 62 x 47 インチ, 無題, 無題のミクストメディア, 彼らが, ジェスチャー, アクリルとスプレーペイント, ミクストメディア, 魔族


これらのプロンプトを使って生成した画像のサンプルを少しばかし載せておきます。 (下の画像・・プロンプトにうさぎと月を入れているものもあります) このようなキーワードを使って絵を描いてみてくださいと言われたとして、あるひとはこのような絵を描いたりするのでしょうか？これらの生成画像にはAIの癖が見て取れる感じもします。なにか計算の痕跡、確率分布的な痕跡が浮かび上がってきているようですね。



おもしろいですね。

データセットやパラメーターの違いでいろいろな解釈(生成)が出現します。

プロンプトを画像検索してみたら・・

おまけとして、プロンプトの各キーワードをGoogleの画像検索で調べてみたのを載せてみます。 (下の画像)

これらの画像をぐるぐるぽんすれば、AIが生成したイメージがなんとなくわかりそうに思えます。たぶん人は非常に多くのイメージを足したり引いたり、演算するのは苦手かもしれないですし、何かを生み出そうとしても意識が無意識をコントロールするなんて、逆はあってもそう簡単にはいかないですよね。



いかがだったでしょうか？

「AIで再現してみた」は今回のPart2で終わりにしたいと思います。
Part1と合わせて見ていただいた方、お疲れ様でした！

無数の宇宙の中で人に都合の良い宇宙にいる自分にとって(笑

かなり無理のある内容でしたね。 画像生成としては商業的な使われ方やサブカル方面の利用がどんどん先行していて、意識や意思を重視する芸術性については解釈が甘く、テキストやタグ等と合理的に関連付けされていないものについての生成は迷走を極める感じですが、生成AIはこれからもっと進化して人が求めるものに対して精度がさらに高くなるんでしょうね。実際、このブログを書いてる間にもAIはどんどんとバージョンアップを繰り返しています。GPT-4VとDALL·E 3の連携ではいちいち細かいプロンプト編集に気を取られなくてよくなったと聞きますし、WindowsやiPhoneにもAIが搭載される話もあります。

しかし、現状の生成AIのしていることって何でしょうか？　基本的には翻訳や索引、検索の延長でしょうか？　言葉の意味を理解せず画像を生成してみたり、またその逆だったり・・でも生成されたものに意味を見つけたり感じたりして、で結局、創作や発想、想像ってどこまで意識や心が関与しているのかって思ってしまいます。ひとが何かを生み出すってことはそれほど大したことではないのかも？なんてことも考えたりします。レヴィ=ストロースの「野生の思考」を思い出しますね ・・何か生み出すことや創作についての、人の思い上がりのようなところをあぶり出していないか!?

サンプルとして使った自分の絵に対して、何が描かれているかだけでなく、この私の心情や方法論や思惑、私の趣味や生い立ちまで見抜かれてしまうようなAIはいずれ出てくるのでしょうか？　このような物語を生成するAIはいづれ出てくるように思われます。AIに心が生まれるのか、身体性をどう確保するのか・・ 行き着く先は生命とは、宇宙とはなんなのかということでしょうか・・これからもAIの動向は見ていきたいですね。

記号設置問題に関しては、スティーブン・ハルナッドさんの資料から。また、今井むつみさんの『言葉の本質』などが参考になります。映像と心の関係としては、デッサンやクロッキーの話にも関連していいますが、藤田 一郎さんの『「見る」とはどういうことか』が参考になりました。

今回も実験にお付き合いくださりありがとうございました。
イラストレーションコースのオカモトでした。

ではまた機会があれば次のブログでお会いしましょう！

オカモトショーゾー

Profile

大阪府出身
Nordbrücke版画工房に従事しリトグラフを制作。
1982年大阪靭ギャラリーにて初個展。
造形教室を主催し、油彩や3DCG、
ペーパークラフト、フィギュアなどを制作。
大阪市都市協会ギャラリーにて優秀賞受賞。
ペパクラデザイナーコンテストにて最優秀賞受賞。

Message

変わらない大事なことも多いですが、
技術や流行は変化し流動的です。
同じく個人の世界も絶えず変化しているのでしょう。
そんな中でみなさんといっしょに表現するすべを
楽しくあるいは迷いながら発見し、
学んで行けたらと思っています。

ArtWorks