【ComfyUI】画像からプロンプトを生成する方法

• 「画像を読み込む」、「DownloadAndLoadFlorence2Model」、「Florence2Run」、「Show Any」を追加
• 「画像を読み込む」と「DownloadAndLoadFlorence2Model」を「Florence2Run」に繋ぐ
• 「Florence2Run」を「Show Any」に繋ぐ
• 「画像を読み込む」の「アップロードするファイルを選択」で、画像ファイルを読み込む
• 「DownloadAndLoadFlorence2Model」の「model」で、Florence2のモデルを選択
• 「Florence2Run」の「task」で、生成処理の種類を選択

選択したモデルがダウンロードされていない場合、ワークフローを実行するとモデルがダウンロードされ、「モデルライブラリ」の「LLM」フォルダに保存されます。

いくつかFlorence2モデルを試しましたが、モデルと生成処理の組み合わせによって、うまく結果が生成されません。

Florence-2-baseモデル

「Florence2Run」の「task」が「caption」、「detailed_caption」、「more_detailed_caption」で文章形式の結果が生成され、それ以外はうまくいきません。

「caption」、「detailed_caption」はかなり短い文章になるので、「more_detailed_caption」を使うのが良さそうです。

Florence-2-SD3-Captionerモデル

Florence-2-baseモデルと同様に「Florence2Run」の「task」が「caption」、「detailed_caption」、「more_detailed_caption」で文章形式の結果が生成され、それ以外はうまくいきません。

こちらも「more_detailed_caption」くらいの長さの文章が良い感じです。

Florence-2-base-PromptGen-v2.0/Florence-2-large-PromptGen-v2.0モデル

「Florence2Run」の「task」が「caption」、「detailed_caption」、「more_detailed_caption」で文章形式の結果が生成されます。

「Florence2Run」の「task」が「dense_region_caption」でエラーが混じる場合もありますが詳細な文章形式や単語群形式の結果が生成されます。

「Florence2Run」の「task」が「ocr」、「ocr_with_region」、「prompt_gen_tags」で単語群形式の結果が生成されます。

「Florence2Run」の「task」が「prompt_gen_mixed_caption」で文章形式と単語群形式の結果が同時に生成されます。

「Florence2Run」の「task」が「prompt_gen_analyze」でcamera_angleなどの項目が付いた単語群形式の結果が生成されます。

「Florence2Run」の「task」が「prompt_gen_mixed_caption_plus」で「prompt_gen_mixed_caption」の結果と「prompt_gen_analyze」の結果が同時に生成されます。

上記は-base-モデルの結果です。
-large-モデルの方が生成される文章が長かったり、正確な描写がされているように感じましたが、-base-モデルでも十分使えそうです。

• LM Studioを立ち上げ、「Developer」をクリック
• 「Status Stopped」右のスイッチをクリック
• 「Select a model to load」をクリック

• ComfyUI上で動かしたいLLMの右の「>」をクリック
  （LLMは画像入力に対応したモデルである必要があります。）

• 「API Identifier」に表示されているLLM名をコピー

• 「LayerUtility: TextBox」、「画像を読み込む」、「😼> LMStudio」、「Show Any」を追加
• 「LayerUtility: TextBox」と「画像を読み込む」を「😼> LMStudio」に繋ぐ
• 「😼> LMStudio」を「Show Any」に繋ぐ
• 「😼> LMStudio」の「model_identifier」に、LM StudioからコピーしておいたLLM名を入力
• 「😼> LMStudio」に初期設定されているプロンプトを削除
• 「LayerUtility: TextBox」に、プロンプトを入力
• 「画像を読み込む」の「アップロードするファイルを選択」で、画像ファイルを読み込む

「😼> LMStudio」のプロンプトをカットし、「LayerUtility: TextBox」にペースト

「😼> LMStudio」のプロンプトをカット＆ペーストした場合、プロンプトの文章以外も出力に含まれます。

プロンプトに「The answer is to display only the prompt.」を追加すると、出力がプロンプト用の文章のみになります。

「😼> LMStudio」のプロンプトを削除し、「LayerUtility: TextBox」に日本語で追加

Stable Diffusionの画像生成で使えそうな形式のプロンプトを出力するように、「😼> LMStudio」の英語プロンプトの一部を日本語に翻訳、修正すれば、単語形式で結果が出力されます。