目次
Crafting Customisable Characters with LLMs: Introducing SimsChat, a Persona-Driven Role-Playing Agent Framework
この論文は、カスタマイズ可能なキャラクターを生成するためのフレームワーク「SimsChat」を提案し、リアルな役割演技エージェントの開発を通じて、ユーザーの好みに応じた多様なキャラクターと対話を実現することを目指しています。
この論文の特徴は、ユーザーの好みに基づいて68種類のカスタマイズ可能なキャラクターを作成し、それらを用いたリアルなシーンでの対話を生成するSimsConvデータセットを提案することで、自由にカスタマイズできるロールプレイエージェントSimsChatの実現を目指している点です。
論文：https://arxiv.org/abs/2406.17962
リポジトリ：https://anonymous.4open.science/r/SimsChat-60D0/
以下は、LLMを用いてこの論文の内容を要約したものになります。
概要
大規模言語モデル（LLM）は、指示を理解し、人間のようなテキストを生成する優れた能力を示し、基本的な行動の再現を超えた洗練されたエージェントシミュレーションを可能にしています。しかし、自由にカスタマイズ可能なキャラクターを作成する可能性は十分に探求されていません。
本研究では、LLMを利用して個別の特徴を注入することで現実のキャラクターをシミュレートするカスタマイズ可能な会話エージェントフレームワークを提案し、ユーザーの好みに応じた多様なキャラクターの作成を可能にします。68のカスタマイズされたキャラクターと1,360のリアルなシーンにおける13,971のマルチターンのロールプレイ対話から成るSimsConvデータセットを提案します。キャラクターは、最初にキャリア、志望、特性、スキルという事前定義された要素を使用してカスタマイズされ、その後、個人および社会的プロファイルを通じて拡張されます。
これに基づいて、さまざまな現実的な設定とトピック特化型のキャラクターインタラクションを取り入れた自由にカスタマイズ可能なロールプレイエージェントであるSimsChatを紹介します。SimsConvおよびWikiRoleEvalデータセットでの実験結果は、SimsChatがキャラクターの一貫性、知識の正確性、適切な質問拒否を維持する上で、既存のモデルと比較して優れた性能を示すことを証明しました。私たちのフレームワークは、より正確でカスタマイズ可能な人間のシミュラクラを開発するための貴重な洞察を提供します。私たちのデータとコードは公開利用可能です。
1. はじめに
本研究では、「SimsChat」と呼ばれるカスタマイズ可能な会話エージェントフレームワークを提案します。大規模言語モデル（LLM）の利用により、ユーザーの好みに応じた多様なキャラクターを生成することを目指しています。このフレームワークは、従来の固定されたキャラクターシミュレーションの限界を克服し、ユーザーが求める多様性を提供します。
2. 関連研究
ロールプレイエージェントの分野では、特定のキャラクターの理解や模倣に焦点を当てた研究が進められており、LLMの発展により複雑なシミュレーションが可能になっています。しかし、パーソナライズされた対話システムは、一般的な情報に制限されることが多く、実世界の多様なキャラクターを反映することには限界がありました。
3. 方法論
3.1 SimsConvデータセットの構築
SimsConvデータセットは、68のカスタマイズされたキャラクターと13,971のマルチターンロールプレイ対話から構成されています。このデータセットの構築は以下の3つのステップで行われます：
1. キャラクター生成: 職業、目標、特性、スキルの4つの要素からキャラクターを生成し、個人情報を追加して詳細なプロフィールを作成します。
2. シーン構築: キャラクターのプロファイルに基づき、リアルなシーンを生成します。このシーンには、詳細なロケーションの説明が含まれます。
3. インタラクティブな対話生成: 生成されたシーンに基づき、キャラクター間の対話を作成します。対話は、指定された感情とトピックに基づいて構築されます。
3.2 SimsChatのトレーニング
SimsChatエージェントは、SimsConvデータセットを用いて訓練されます。このモデルは、LLaMA-3-8B-Instructを使用し、特定のキャラクターの体験を利用して対話生成が行われます。訓練は5エポックにわたり、パフォーマンスを向上させるために慎重にハイパーパラメータが設定されます。
4. 実験
4.1 データセット設定
SimsConvデータセットは、68のキャラクター、1,360のシーン、13,971の対話から成り立っています。各キャラクターは20の異なるシーンに基づいて生成され、合計で1,360のシーンが得られます。
4.2 実験設定
モデルの評価は、記憶力、価値観、個性、知識の保持、安定性の5つの次元で行われます。特に、SimsChatは他のモデルと比較して、キャラクターの整合性や知識の正確性において優れたパフォーマンスを示しました。
5. 実験結果
5.1 自動評価
SimsChatは、評価の各次元において優れたパフォーマンスを示し、特に記憶力と個性の維持において顕著な結果を得ました。
5.2 人間評価
人間による評価でも、SimsChatは他のモデルと比較して、個性と安定性の面で高いスコアを獲得しました。
6. 結論
本研究では、カスタマイズ可能な会話エージェントフレームワークを提案し、リアルなキャラクターシミュレーションにおける重要な貢献を示しました。SimsConvデータセットとSimsChatエージェントは、ユーザーの好みに基づくキャラクターの生成を可能にし、今後の研究における重要な基盤を提供します。