[論文紹介#45]ScreenAgent：ビジョン言語モデル駆動のコンピュータ制御エージェント

in

本日の論文

この論文は、視覚と言語モデルを基にしたコンピュータ制御エージェント「ScreenAgent」の設計と実装について述べており、エージェントが実際のコンピュータ画面とインタラクションしながら複雑なタスクを自律的に実行できる環境を構築しています。

論文：ScreenAgent : A Vision Language Model-driven Computer Control Agent

Github：https://github.com/niuzaisheng/ScreenAgent

以下は、LLMを用いてこの論文の内容を要約したものになります。

要約

この論文では、視覚言語モデル（VLM）エージェントが実際のコンピュータ画面と相互作用できる環境を構築し、エージェントがスクリーンショットを観察し、マウスやキーボードの操作を出力することでGUIを操作する能力を持つことを示しています。また、計画、実行、反映の各フェーズを含む自動化された制御パイプラインを設計し、エージェントが継続的に環境と相互作用し、複数のステップのタスクを完了することを可能にしています。さらに、ScreenAgentデータセットを構築し、さまざまな日常的なコンピュータタスクを完了する際のスクリーンショットとアクションシーケンスを収集しました。最終的に、ScreenAgentモデルは、GPT-4Vと比較してコンピュータ制御能力を持ち、より正確なUI位置決め能力を示しました。これにより、一般的なLLMエージェントの構築に向けたさらなる研究が促進されることが期待されます。

ScreenAgent: ビジョン・ランゲージモデル駆動のコンピュータ制御エージェント

1. 概要

ScreenAgentは、ビジョン・ランゲージモデル（VLM）を用いて、実際のコンピュータ画面とインタラクションし、複雑なデジタル作業を支援するための新しいエージェントです。スクリーンショットを観察し、マウスやキーボードの操作を出力することで、グラフィカルユーザーインターフェース（GUI）を操作します。このエージェントは、計画、実行、振り返りの各フェーズを含む自動制御パイプラインを設計し、複数ステップからなるタスクを継続的に完了させる能力を持っています。

2. 研究背景

2.1 マルチモーダル大規模言語モデル

近年の大規模言語モデル（LLM）は、自然言語処理タスクにおいて優れた性能を示しており、特にLLaMAやGPT-4などのモデルが多ターンの質疑応答システムにおいて有効性を発揮しています。これらのモデルは、視覚情報とテキスト情報を統合し、ユーザーインターフェースの理解と操作において特に優れた性能を持っています。

2.2 コンピュータ制御環境とデータセット

ScreenAgentは、実際のコンピュータ環境での操作を可能にするために、リモートデスクトップ（VNC）プロトコルを利用した環境を構築しました。この環境では、エージェントがリアルタイムでコンピュータとインタラクションし、クリックや入力を模倣することができます。また、ScreenAgentデータセットは、LinuxおよびWindowsでのタスクを完了するためのアクションシーケンスを収集しており、日常的なコンピュータ作業を広範にカバーしています。

3. 制御パイプライン

ScreenAgentの制御パイプラインは、計画、行動、反省の各フェーズから成り立っており、エージェントはタスクを細分化し、実行し、結果を評価するプロセスを経ます。この構造により、エージェントは複雑なタスクを効率的に遂行できます。

4. 評価指標

4.1 CCスコア

CCスコアは、エージェントのコンピュータ制御タスクにおける能力を評価するための指標で、アクションの順序と属性の一致を考慮して設計されています。このスコアは、エージェントの性能を定量的に評価するために使用されます。

5. 実験結果

ScreenAgentは、OpenAIのGPT-4Vや他の先進的なVLMモデルと比較され、その性能が評価されました。実験の結果、ScreenAgentは特定のタスクを完了する能力において競争力を持ち、特にユーザーインターフェースのローカライズにおいて優れた結果を示しました。また、CogAgent-Chatモデルを用いたファインチューニングにより、機能呼び出し能力が向上しました。

6. 結論

本研究では、ScreenAgentの設計、実装、評価を行い、日常的なデジタル作業を自動化するための新しい環境を構築しました。これにより、エージェントは実際のコンピュータを操作し、効率性と精度を高めることが可能になります。将来的には、さらに多様なタスクへの対応や、他のエージェントとの連携を実現することが期待されています。

付録

  • エージェントプロンプトの詳細: 各フェーズで使用されるプロンプトテンプレート
  • データセットの構築と処理: COCO、ウィジェットキャプション、Mind2Webデータセットの変換手法
  • ScreenAgentデータセットの詳細: データセットの統計情報と構成
  • CCスコアの計算方法: スコア算出の具体的手法
  • トレーニング設定: ScreenAgentモデルのトレーニングに使用されたハイパーパラメータ

このように、ScreenAgentはコンピュータ操作を自動化し、ユーザーの作業を効率化するための革新的なアプローチを提供します。