目次
Re-Invoke: Tool Invocation Rewriting for Zero-Shot Tool Retrieval
この論文は、Re-Invokeという無監視のツール検索手法を提案し、ユーザーの意図を理解して関連するツールを効果的に特定することで、大規模なツールセットに対する検索性能を向上させることを目的としています。
論文：https://arxiv.org/abs/2408.01875
この論文の特徴は、従来のツール取得手法に対して、ラベルデータなしで大規模なツールセットにスケール可能な完全無監督のツールリトリーバル手法「Re-Invoke」を提案し、ユーザーの意図を効果的に抽出して関連するツールを特定できる点です。
以下は、LLMを用いてこの論文の内容を要約したものになります。
要約
最近の大規模言語モデル（LLM）の進展により、複雑な推論やタスク遂行能力を持つ自律エージェントが実現しましたが、ツールセットが増えるにつれて、適切なツールの特定が難しくなり、ツールの信頼性のある利用が妨げられています。これに対処するために、Re-Invokeという教師なしのツール検索手法を提案し、ツールドキュメントに関連する多様な合成クエリを生成し、LLMのクエリ理解能力を活用してユーザーの意図を抽出します。最終的に、意図に基づいた新しい多角的類似性ランキング戦略を用いて、各クエリに対して最も関連性の高いツールを特定します。評価結果として、Re-Invokeは、ToolEデータセットにおいて、単一ツール検索で20％、複数ツール検索で39％の相対的な改善を達成しました。
Re-Invoke: 無監督ツール検索手法の概要
1. 背景と課題
近年の大規模言語モデル（LLM）の進展により、自律エージェントが複雑な推論やタスクを実行できるようになりましたが、ツールの選定が重要な課題となっています。特に、ツールセットが増加する中で、特定のタスクに関連するツールを効率的に特定することが困難になっています。この問題を解決するために、無監督のツール検索手法「Re-Invoke」が提案されています。
2. Re-Invokeのアプローチ
Re-Invokeは、ツール文書のインデクシング段階で多様な合成クエリを生成し、推論段階ではユーザーのクエリからツール関連のコンテキストと意図を抽出します。具体的な手法は以下の通りです。
- クエリ生成器: ツール文書が曖昧であるため、LLMを用いてユーザーのクエリを予測し、ツール使用のための合成クエリを生成します。
- 意図抽出器: ユーザーの複雑なクエリからツール関連の意図を抽出し、LLMの推論能力を活用します。
- マルチビュー類似性ランキング: ユーザーの意図に基づいてツールをランキングする手法を導入し、類似性スコアを集約して最も関連性の高いツールを特定します。
3. 実験と評価
Re-Invokeの性能は、ToolBenchやToolEといったベンチマークデータセットを用いて評価されました。実験の結果、Re-InvokeはBM25やテキスト埋め込みを用いた密な検索手法に対して一貫して優れたパフォーマンスを示しました。特に、ツール文書の強化と意図抽出の効果が大きく寄与していることが確認されました。
4. 結論と今後の研究
Re-Invokeは、無監督でツール検索を行う新しいアプローチを提供し、ツール文書のコンテキストを強化し、ユーザーの意図を理解することに重点を置いています。今後は、合成クエリの多様性と品質向上、意図抽出器の精度向上が必要です。これにより、さらなる性能向上が期待されます。