Agent Planning with World Knowledge Model

この論文は、エージェントの計画能力を向上させるために、世界知識モデル（WKM）を導入し、タスク知識と状態知識を統合して、試行錯誤や幻想的な行動を軽減する手法を提案しています。

論文：https://arxiv.org/abs/2405.14205
リポジトリ：https://github.com/zjunlp/WKM

以下は、LLMを用いてこの論文の内容を要約したものになります。

要約

この論文では、大規模言語モデル（LLM）を用いたエージェントプランニングのための「世界知識モデル（WKM）」を提案しています。従来のLLMは物理的な世界の理解が不足しているため、試行錯誤や幻覚的な行動を引き起こすことがあります。WKMは、専門家の知識とサンプルからの知識を統合し、タスクに対する事前知識と動的状態知識を提供することで、エージェントの計画を支援します。実験結果は、WKMがさまざまな強力なベースラインと比較して優れた性能を発揮し、盲目的な試行錯誤や幻覚的な行動を軽減できることを示しています。結果として、WKMは未見のタスクへの一般化能力を高め、エージェントの計画における知識の重要性を強調しています。

この論文の特徴は、エージェントプランニングにおいて世界知識モデル（WKM）を導入することで、従来の大規模言語モデルの物理的理解の欠如を克服し、タスクの成功率を飛躍的に向上させる点です。

以下に、提供された情報を基に論文の解説記事を構成しました。

---

論文解説：エージェント計画と世界知識モデル

1. はじめに

本研究では、大規模言語モデル（LLMs）をエージェントとして活用し、インタラクティブな計画タスクを実行する方法を探求しています。従来のLLMsは次トークン予測に基づいて訓練されているため、物理的な世界を理解する能力が限られ、無意味な試行錯誤や幻覚的な行動を生成する問題があります。この問題に対処するために、パラメトリックな世界知識モデル（WKM）を提案し、エージェントの計画能力を向上させることを目指しています。

2. 前提知識

本研究では、部分的に観察可能なマルコフ決定過程（POMDP）を用いて、エージェントの行動をモデル化しています。この枠組みでは、タスクの指示、状態、観察、アクション、遷移関数が定義され、エージェントが与えられたタスクを遂行するための基盤が提供されます。

3. 方法

3.1 タスク知識の合成

WKMを通じて、エージェントは専門家の経路とサンプリングした経路を比較し、質の高いタスク知識を合成します。この過程により、エージェントはグローバルな計画を立てるための事前知識を得ることができます。

3.2 状態知識の要約

エージェントは、専門家の経路に基づいて状態知識を自己要約し、動的な知識ベースを構築します。これにより、エージェントは幻覚的な行動を防ぎ、より正確な計画を立てることができます。

3.3 モデルの訓練

WKMは専門家の経路に統合され、エージェントはこの知識を取り込むために再訓練されます。エージェントモデルとWKMはLoRAを用いて共同で訓練されます。

3.4 WKMを用いたエージェント計画

推論時には、WKMが生成した知識を基に、エージェントは次の行動を決定します。これにより、エージェントはタスク指示に応じた計画を立てることが可能になります。

4. 実験

本研究では、ALFWorld、WebShop、ScienceWorldの3つの実世界シミュレーションデータセットを用いて提案手法の有効性を評価しました。

4.1 実験設定

各データセットの性能を評価するために、報酬メトリクスを用いてさまざまなベースラインと比較しました。

4.2 結果

実験結果は、WKMを用いた手法が他のベースラインに対して優れた性能を示し、特に盲目的な試行錯誤や幻覚的な行動を減少させることが確認されました。

5. 結論と今後の課題

本研究では、WKMを導入することでエージェントの計画能力を大幅に向上させることができました。今後は、統一的な世界知識モデルの構築や、マルチモーダルなエージェント計画への応用が期待されます。

付録

• 付録A: 専門家の経路収集方法
• 付録B: データセット情報
• 付録C: 比較ベースラインの詳細
• 付録D: ハイパーパラメータの詳細
• 付録E: 訓練データの例
• 付録F: 計画ステップの勝率
• 付録G: 知識と計画の重要性を反映したγの影響
• 付録H: ケーススタディ