目次
本日の論文
この論文は、AIエージェントの評価基準とベンチマークの現状を分析し、コストと精度を共同最適化する新しいアプローチを提案することで、実世界で有用なエージェントの開発を促進することを目的としています。
以下は、LLMを活用して論文の内容を要約したものになります。
要約
AIエージェントは魅力的な研究分野であり、その開発はベンチマークによって推進されています。しかし、現在のエージェントベンチマークや評価手法には、実世界での適用可能性を妨げるいくつかの欠点があります。主な問題は、正確さに偏った評価指標とコストを無視していること、モデル開発者と下流開発者のニーズが混同されていること、そして多くのベンチマークに適切なホールドアウトセットが欠けていることです。これにより、エージェントは短絡的なアプローチを取りがちで、過剰適合する傾向があります。最後に、評価手法の標準化が欠如しているため、再現性が大きく損なわれています。私たちは、これらの問題に対処するための手法を提案し、実世界で有用なエージェントの開発を促進することを目指しています。
1. はじめに
AIエージェントは重要な研究分野となっており、複合AIシステムとして広く認識されています。さまざまなエージェントベンチマークがリリースされており、これらはウェブインタラクション、プログラミング、ツール使用などの多くのドメインを網羅しています。しかし、エージェントの評価は言語モデルの評価とは根本的に異なり、複雑で現実的なタスクにおいてどのように機能するかが問われています。エージェントは、複数の正解や現実の有用性を持つタスクを扱う能力が求められます。
1.1 AIエージェントとは何か？
従来のAIでは、エージェントは環境を認識し、行動する存在として定義されていますが、LLM時代ではこの定義が狭まっています。多くの研究者は、エージェントを二元的な定義ではなく、スペクトラムとして捉えています。エージェントと見なされる要素には、環境の複雑さ、ユーザーインターフェース、そしてシステム設計が含まれます。
1.2 エージェント評価の課題
現在のエージェント評価の実践には、いくつかの課題が存在します。特に、エージェントのコストと精度を同時に最適化する必要がある一方で、開発者のニーズが混同されている点が挙げられます。多くのベンチマークは、適切なホールドアウトセットを欠いており、エージェントが過剰適合しやすく、実際の応用において脆弱です。また、評価手法の標準化が不足しているため、再現性が欠けていることも指摘されています。
2. AIエージェントの評価はコスト管理されなければならない
AIエージェントの評価は、コストを管理することが重要であることを示しています。リソースやコストを考慮することで、評価プロセスの持続可能性が向上し、エージェントの有効性や信頼性をより正確に測定できるようになります。無駄なリソースを使わないようにすることも重要で、評価基準を明確にすることで、より良い意思決定が可能になります。
2.1 精度を最大化することは無制限のコストを引き起こす可能性がある
エージェントが言語モデルを繰り返し呼び出すことで精度を高めることができるため、無制限のコストがかかる可能性があります。このため、評価を行う際には、コストの管理が必要であり、研究者が高額なエージェントを開発することを促すことがないようにする必要があります。
2.2 精度とコストのトレードオフをパレート曲線で視覚化する
エージェントの精度とコストをパレート曲線として視覚化することで、二つの指標を最適化する新たなデザインスペースが開けます。このアプローチは、コストを抑えつつ精度を維持するための有効な手段となります。
2.3 エージェントの開発者とモデルの開発者は異なるベンチマークニーズを持つ
モデル評価と下流評価の違いを明確にし、コストに対する理解を深めることが必要です。モデル評価は科学的な疑問に基づいており、コストは重要ではないが、下流評価ではコストが重要な要素となります。
2.4 エージェントベンチマークはショートカットを許す
多くのエージェントベンチマークは小規模なため、ショートカットを取ることが可能であり、エージェントが特定のベンチマークに過剰適合する問題が発生します。これにより、エージェントの実際の性能が正確に反映されない可能性があります。
2.5 評価の標準化と再現性の欠如
エージェントの評価における標準化の欠如は、再現性の問題を引き起こします。これにより、評価結果の信頼性が低下し、研究者や開発者にとって混乱を招く要因となります。標準化された評価フレームワークの必要性が強調されます。
3. コストと精度の共同最適化はより良いエージェント設計を生む
コストと精度を同時に最適化することは、エージェント設計に新たな可能性をもたらします。このアプローチにより、コストを抑えながらも精度を維持するエージェントを開発することが可能になります。特に、固定コストと変動コストを考慮することで、エージェントの設計におけるトレードオフを明確にし、より効率的なエージェントを実現できます。
3.1 HotPotQA評価設定
HotPotQAベンチマークを用いて、エージェントの性能を評価します。この評価では、文書検索、情報取得、回答生成の3つのコア機能に基づくエージェント設計が行われます。具体的には、Wikipediaから関連情報を取得し、質問に対して正確な回答を生成することが求められます。
3.2 HotPotQAの結果: 共同最適化は精度を維持しながらコストを削減
共同最適化の結果、HotPotQAにおいて精度を維持しつつ、コストを大幅に削減できることが確認されました。特に、Llama-3-70BおよびGPT-3.5のモデルを用いた場合、共同最適化により変動コストがそれぞれ53%および41%削減されました。この結果は、エージェントの設計における効率性を示しています。
4. モデル開発者とダウンストリーム開発者は異なるベンチマークニーズを持つ
モデル評価は研究者にとって科学的関心のある問いであり、トレーニングデータやアーキテクチャの変更が精度を向上させるかを把握することが重要である。一方、ダウンストリーム評価は、特定のアプリケーションで使用するAIシステムを選択するための工学的な問いであり、実際のコストが重要な要素となる。これらの違いが評価方法の混乱を生む原因となっている。
4.1 ケーススタディ：NovelQA
NovelQAベンチマークは長いコンテキストウィンドウを持つ言語モデルの評価を目的としているが、ダウンストリーム開発者が質問応答ボットを構築する際には誤解を招く可能性がある。このベンチマークは、長文の小説に対して全ての質問を一度に求めるため、実際のユーザーが行う質問の仕方とは異なる。したがって、Sequentialでの質問が実際にはコストが大幅に増加することを考慮していない。
5. エージェントベンチマークはショートカットを許す
エージェントベンチマークは、現実世界の精度を評価するために有用ですが、ショートカットを許可する場合、その精度が実際の性能とは異なることがあります。ショートカットの一例として、オーバーフィッティングが挙げられ、これは特にエージェントベンチマークにおいて問題です。小規模なサンプルサイズのベンチマークでは、エージェントが特定のタスクに特化した解決策を見つけることが可能になり、その結果、実際の適用性が損なわれることがあります。したがって、効果的なベンチマーク設計が必要です。
5.1 レベルの一般性
エージェントベンチマークの一般性のレベルによって、適切なホールドアウトが必要です。特定のタスクに対するベンチマークは、特定のデータセットに基づいており、一般性を持たない場合があります。理想的なホールドアウトセットは、訓練セットとは異なる分布からのタスクを含む必要があります。このため、一般性のレベルに応じた適切なホールドアウトセットの設計が求められます。
5.2 人間の介在を考慮しないエージェントベンチマーク
現在の評価は、エージェントがタスクを実行する際の人間の監視やフィードバックを考慮していません。実際の使用では、ユーザーがエージェントの出力を確認したり修正したりすることが多いですが、評価はそのようなインタラクションを反映していません。このため、エージェントの有用性を過小評価する可能性があります。人間のフィードバックを組み込んだ評価が重要であり、今後の研究の方向性となるべきです。
6. 不十分なベンチマーク標準化が再現性のないエージェント評価を引き起こす
本章では、エージェント評価における標準化の不足が、再現性のない結果をもたらす問題について説明しています。評価の不一致が、異なる研究者やチームの間で結果の信頼性を低下させ、エージェントの性能比較を困難にすることが強調されています。この状況は、研究の進展や実用化に悪影響を及ぼす可能性があります。したがって、標準化されたベンチマークを策定することが求められています。
6.1 評価スクリプトはエージェント設計に関する仮定を行う
評価スクリプトが全てのエージェントに適合しない設計仮定を持つため、エージェント開発者は独自の評価を実装する必要が生じます。これにより、評価手法の不一致が生じ、同じベンチマークでの比較が困難になります。標準化された評価基準が欠如しているため、異なるエージェント間での結果の比較が信頼性を欠くことになります。
6.2 エージェント評価のためにLLM評価ベンチマークを再利用することによる矛盾
多くのベンチマークが言語モデル評価用に設計されているため、エージェント評価に利用する際に不一致が生じます。特に、例題が不足しているベンチマークでは、エージェントが異なるサブセットで評価されることが多く、結果の正確性が損なわれる場合があります。このような不一致が、エージェントの性能を過大評価または過小評価する原因となります。
6.3 エージェント評価の高コストは信頼区間の推定を困難にする
エージェント評価は非常に高額なコストがかかるため、評価を複数回実施することが難しくなります。このため、エージェントの性能に関する信頼区間を適切に推定することが困難です。報告された精度スコアが実際の実験結果よりも高くなることも多く、これは評価の不正確さを引き起こします。
6.4 エージェント評価は外部要因に依存し、微妙なエラーを引き起こす
エージェント評価は、ダイナミックな環境との相互作用を含むため、評価の前提に誤りが生じることがあります。特に、タスクの順序が結果に影響を与える場合、評価における独立性の仮定が崩れることがあります。このような外部要因による影響が、評価結果の信頼性をさらに低下させる要因となります。
6.5 標準化の欠如はエージェント評価および開発に微妙なバグを引き起こす
標準化が不足しているため、エージェントの実装や評価においていくつかのバグが発生しています。このようなバグは、正確な評価を妨げ、エージェントの性能に関する誤った結論を導く原因となります。標準化された評価フレームワークの開発が求められています。
7. 結論
AIエージェントのベンチマーキングは新しい分野であり、最良の実践がまだ確立されていないため、真の進展を誤解することが難しい。私たちの主張は、エージェントはモデルと十分に異なるため、ベンチマーキングの手法を再考する必要があるということだ。我々は、コスト制御された比較、モデルと下流評価の分離、適切なホールドアウトを使用してショートカットを防ぐこと、評価手法の標準化などを含む原則的なアプローチの第一歩を踏み出した。この手法がAIエージェント評価の厳密性を高め、進展の確固たる基盤を提供することを期待している。
A. AIエージェントの評価はコスト管理が必要
AIエージェントの評価において、コスト管理が重要であることが示されています。言語モデルを繰り返し呼び出すことで、精度が無制限に向上する可能性があるため、研究者が高額なエージェントを開発することを助長するリスクがあります。
A.1精度の最大化は無限のコストを引き起こす
言語モデルを繰り返し呼び出すことで、特定のベンチマーク上での精度が向上することが確認されています。このような方法では、コストの上昇に対する意識が欠如し、実用的な限界を超えたエージェントの開発が進む可能性があります。
A.2 パレート曲線を用いた精度とコストのトレードオフの視覚化
パレート曲線を用いることで、エージェントの精度とコストの関係を視覚化し、両者を最適化する新たなデザインの可能性が開かれます。この手法により、エージェントの設計がより効率的になり、コストを抑えつつ精度を維持できる可能性が示されています。
A.3 二次元評価は驚くべき洞察をもたらす
精度とコストの二次元評価を行うことで、多くのエージェントが単純なベースラインよりも優れていないことが明らかになりました。エージェントの精度が高いにもかかわらず、コストが極端に異なることが示され、コストの重要性が強調されています。
A.4 システム2アプローチの効果に対する証拠の欠如
複雑なエージェントアーキテクチャの提案が、実際には単純なベースラインとの比較が不足しているため、過度な最適化や誤解を招く結果を招いています。これにより、コミュニティ内での誤解が生じ、実際の性能の向上に対する誤った信念が広まっています。
B. セクション3の追加詳細: コストと精度を共同最適化することでより良いエージェント設計が可能になる
コストと精度を同時に最適化することで、エージェントの設計に新たな可能性が開かれることが示されています。この最適化により、精度を維持しながらエージェントのコストを削減することが期待できます。エージェントの運用にかかるコストは、固定費と変動費に分類され、変動費はエージェントの利用頻度に応じて増加します。
B.1 ホットポットQA評価設定
ホットポットQAにおけるエージェントの性能を評価するために、複数のエージェント設計を実装しました。この評価では、Wikipediaから情報を取得し、質問に対する正しい文書を回収する能力が測定されます。エージェントの設計においては、プロンプトの最適化や少数ショット例の組み込みが重要です。
B.2 ホットポットQAの結果: 共同最適化は精度を維持しつつコストを削減する
共同最適化により、エージェントの変動費が大幅に削減されることが確認されました。特に、GPT-3.5モデルを用いた場合、共同最適化により53%のコスト削減が達成され、精度をほぼ同等に保つことができました。これにより、エージェント設計の効率性が向上し、長期的な使用においてコスト効率が高まることが示されています。
C. エージェントベンチマークに関する調査
最近のエージェントベンチマークに関する調査を行い、各ベンチマークの一般性のレベルとそれぞれのホールドアウトセットを示した。調査の結果、17のエージェントベンチマークのうち、7つは評価に必要なホールドアウトセットを含んでおらず、10のホールドアウトセットのうち、適切な一般性レベルでのものは5つに過ぎなかった。
エージェントベンチマークの目的や特性を示し、それぞれのベンチマークがどのようなタスクを対象としているのかを説明している。各ベンチマークのレベルの一般性や、どのような評価基準が設けられているのかが重要なポイントである。
それぞれのエージェントベンチマークについて、一般性のレベル、ホールドアウトセットの有無、特定のタスクがどのように評価されているかを詳述している。特に、ホールドアウトセットがない場合の問題点と、それによって生じる可能性のある過剰適合について触れられている。
ホールドアウトセットは、エージェントの能力を評価する上で重要であり、適切な一般性レベルのホールドアウトセットがなければ、評価結果は信頼できない可能性がある。適切に設定されたホールドアウトセットが、エージェントの性能を正確に反映するために必要であることが強調されている。
D. NovelQA実装に関する詳細
NovelQAのベンチマークの多肢選択サブセットに対して評価を行った。GPT-4を使用した新たなエージェントが、リトリーバル強化生成（RAG）を活用して評価され、長い文脈を持つ小説の情報を部分的に取得しながら、質問に答える能力が検証された。
NovelQA実装の詳細
GPT-4とリトリーバル強化生成を組み合わせたエージェントの評価結果は、長い文脈を使用した場合とほぼ同等であり、コスト効率を考慮し、RAGアプローチの方が大幅に安価であることが示された。具体的には、RAGではコストが$52.80で、長い文脈アプローチでは$99.80であった。得られた精度はわずかに異なるが、全体として両者のパフォーマンスは非常に近い。
E. エージェント評価の標準化と再現性の欠如
エージェント評価における標準化と再現性の問題は、評価方法が一貫しておらず、他の研究との比較が難しいことを指摘しています。この状況は、異なる研究間での結果の信頼性や一般化可能性を低下させ、エージェントの性能を正確に評価することを困難にします。評価の結果が再現できなければ、真の性能向上を特定することが難しくなります。
E.1 エージェント評価の短所
エージェントの評価における短所は、評価の一貫性がなく、信頼性を損なう要因が多いことです。これには、エージェントの設計に対する評価スクリプトの適合性が欠けていたり、LLM（大規模言語モデル）の評価基準がエージェント評価に適用される際の不一致が含まれます。評価の不正確さやバグは、エージェントの開発や評価の過程での誤解を招くことがあります。
E.2 標準化の必要性
エージェント評価の標準化が欠如しているため、エージェントの開発者や研究者は、信頼できる比較を行うことが難しくなっています。標準的な評価フレームワークがあれば、異なるエージェントの性能を公平に比較し、進捗を追跡することが可能になります。今後の研究では、エージェント評価のための標準化されたフレームワークの開発が重要な課題となるでしょう。
E.3 評価結果の再現性
エージェントの評価結果の再現性が低いことは、特に重要です。他の研究者が同じ条件下で評価を再現できることが求められますが、多くのエージェント評価はその条件を満たしていません。評価の誤差やバリエーションを理解するためには、再現可能な実験方法が必要です。したがって、エージェント評価の信頼性を高めるためには、再現性の確保が不可欠です。
F コンピュータリソース使用に関する声明
本研究では、OpenAIのモデルを使用する実験において、OpenAIが提供するエンドポイントを直接またはAzure OpenAIサービスを通じて利用しました。また、HotPotQAの分析では、Together.aiが提供するLlama-3モデルのエンドポイントを使用しました。私たちの研究は主に外部APIに依存しており、推論にGPUを使用せず、LLMのトレーニングも必要ありません。
G. 制限事項
本研究では、コスト制御評価やコストと精度の共同最適化といった方法が、現在のコストモデルや技術的制約に依存していることを認めている。これらのモデルは技術の進展や新しい価格モデルの導入に伴い、結果が変わる可能性がある。この課題に対処するため、我々は動的なウェブアプリケーションを提供し、ユーザーが異なる言語モデルのAPIコストを変更し、結果を再計算できるようにしている。さらに、調査対象のタスク環境やAIエージェントのバリエーションは網羅的ではなく、今後の研究でこれらのギャップを埋めることが期待される。
本研究は、さまざまなベンチマークやエージェントモデルを対象としているが、すべての可能なタスク環境やエージェントの変種を網羅しているわけではない。それでも、現在のAIエージェントベンチマークの限られた構成妥当性や再現性の欠如に関する発見は、タスクやドメインにわたって一貫して確認されている。特に、コスト制御評価がプログラミング以外のタスクにも必要であることを強調している。
環境への影響やデータアノテーションのための人件費、AIシステムの維持コストといった他のコスト要因は、十分に分析されていない。これらの要因は、AIシステムが拡大し、広く展開されるにつれてますます重要になってきているため、AIの経済的および環境的影響を評価するためのより包括的なアプローチが必要である。
H. 社会的影響
AIエージェント評価の改善は、これらのシステムの効率性と信頼性を高める可能性があり、その結果、経済的および環境的コストを削減し、より広範なアクセスを促進できる。これにより、開発者間でのコスト感度を高めることが期待される。しかし、AIエージェントの高度化は安全リスクも伴い、既存のエージェント的AIを管理するためのフレームワークが重要であると考えられる。開発者と導入者は、責任ある開発と展開を確保するために、これらのフレームワークの実装を優先する必要がある。さらに、コスト測定に関する研究は、安全評価の改善にも寄与し、潜在的な危険性を事前に特定することができる。
I. 再現性に関する声明
本研究では、論文の実験結果を再現するためのコードをMITライセンスのもとでGitHubリポジトリとして公開します。このリポジトリには、HumanEval、HotPotQA、NovelQA、WebArenaの分析を再現するためのスクリプトが含まれています。また、APIコストを変更可能なインターフェースを提供し、異なる言語モデルのコストと精度のトレードオフを視覚化することができます。さらに、提案されたジョイントオプティマイザーを公式DSPyリポジトリおよび研究コミュニティにリリースする予定です。