目次
Understanding Generative AI Capabilities in Everyday Image Editing Tasks
この論文は、日常的な画像編集タスクにおける生成AIの能力を理解し、実際の編集リクエストとAI編集の効果を比較分析した研究です。
この論文の特徴は、実際のユーザーリクエストに基づいて生成AIの画像編集能力を評価し、AIエディターが成功裏に処理できるリクエストの種類を特定するために、12年間にわたる83,000件のリクエストと305,000件の編集を分析した点です。
論文：https://arxiv.org/abs/2505.16181
リポジトリ：https://psrdataset.github.io/
以下は、弊社AI開発ツール「IXV」を用いてこの論文を要約したものです。見出しや章立てが元論文とは異なる場合があります。
概要
生成AI（GenAI）は、特に2025年3月25日にリリースされたGPT-4oに続いて、日常の画像編集タスクを自動化するための大きな可能性を秘めています。しかし、人々が最も頻繁に編集したい対象は何でしょうか？彼らはどのような編集アクションを実行したいと考えているのでしょうか（例：対象を削除したりスタイリングしたりすること）？人々は予測可能な結果を伴う正確な編集を好むのでしょうか、それとも非常に創造的なものを求めるのでしょうか？実際のリクエストの特性と、フリーランスの写真編集者が行った対応する編集を理解することで、AIベースのエディターを改善するための教訓を引き出し、現在AIエディターが成功裏に処理できるリクエストの種類を特定できるでしょうか？
本論文では、これらの質問に対処するユニークな研究を提示します。具体的には、/r/PhotoshopRequest Redditコミュニティからの過去12年にわたる83,000件のリクエストとそれに関連する305,000件の編集を分析します。人間の評価によると、約33%のリクエストのみが最も優れたAIエディターによって満たされることができます（例：GPT-4o、Gemini-2.0-Flashなど）。興味深いことに、AIエディターは正確な編集を必要とする低創造性のリクエストよりも、よりオープンエンドなリクエストの方がパフォーマンスが悪いことが分かりました。彼らはしばしば人や動物のアイデンティティを保持するのに苦労し、しばしばリクエストされていないタッチアップを行います。一方で、VLMジャッジ（例：o1）は人間のジャッジとは異なるパフォーマンスを示し、AI編集を人間の編集よりも好むことがあります。
1. イントロダクション
本章では、Generative AI（GenAI）の画像編集における可能性と、特にGPT-4oのリリース後の影響について論じています。具体的には、ユーザーが最も求める編集内容、エディティングアクション（例：被写体の削除やスタイリング）、AIによる編集の成功率などを明らかにするため、83,000件のリクエストと305,000件の編集を分析しました。研究の結果、最も高いAIエディターでも、リクエストの約33%のみを満たすことができることが示されています。
2. 関連研究
オンライン画像編集コミュニティに関する先行研究をレビューし、ユーザーの意図や編集パターン、自動化の課題を探ります。従来の編集アクションの分類は低レベルの機能に基づいているため、ユーザーの意図を反映していない点を指摘し、当研究ではRedditのリクエストに基づいた新しい分類法を構築しました。この新しい分類は、最新の操作（例：スーパーレゾリューション）を含んでいます。
3. PSRデータセットの構築
PSRデータセットは、/r/PhotoshopRequestからのリクエストを基に構築され、各リクエストには主題、編集アクション、創造性レベルがラベル付けされています。データはPushShiftとカスタムクローラーを用いて収集され、最終的に82,976件のリクエストと305,806件の編集画像が含まれています。各リクエストはWordNetを用いて体系的に分類され、編集アクションは15の動詞に基づいています。
3.1 タクソノミー
リクエストは、主題、編集動詞、創造性レベルに基づいてラベル付けされています。これにより、標準的な自動化ツールが適用できる低創造性のタスクと、高度な柔軟性を必要とする高創造性のタスクを区別することができます。
3.2 データセットのアノテーションプロセス
GPT-4o-miniとInternVL-2.5を使用してデータセットのアノテーションを行い、リクエストと画像から主題やアクション動詞を抽出しました。これにより、リクエストの明確化と主題のWordNetへのマッピングが実現しました。
4. 実験設定
本研究では、AI編集と人間編集の比較を行い、評価にはSOTA画像編集ツール（SeedEdit、Gemini-2.0-Flash、GPT-4o）を使用しました。各リクエストに対して、元の指示と簡略化した指示を用いて2つの画像を生成し、328件のリクエストに基づく人間による評価を実施しました。
5. 実験結果
5.1 人間編集の優位性
122人の参加者から4,359票を集めた結果、人間編集が66%の頻度でAI編集よりも好まれることが示されました。AI編集は、特に高度な創造性を要するリクエストにおいて、相対的に好まれる傾向がありました。
5.2 VLMによる評価の限界
VLM（ビジョン・ランゲージモデル）の評価は、人間の評価と比較して信頼性が低いことが確認されました。VLMは、特定のAI編集を好む傾向が強く、評価の一致度は低いことが示されています。
5.3 AIエディターの限界
AIエディターは、しばしばリクエストに対して不要な変更を加えたり、被写体のアイデンティティを保持できなかったりする問題があることが明らかになりました。
6. 議論、制限、および結論
本研究は、AIによる画像編集の現状と、ユーザーのニーズとのギャップを明らかにします。AIツールはオブジェクトの削除やアウトペインティングには優れていますが、現在のモデルはユーザーリクエストの約3分の1しか満たせていないことが示されています。今後の改善点として、AIが誤って重要な特徴を変更しないようにすることが求められます。