目次
Invisible Prompts, Visible Threats: Malicious Font Injection in External Resources for Large Language Models
この論文は、大規模言語モデル（LLM）が外部リソースからの悪意あるフォント注入によって隠れた対戦的プロンプトに脆弱であることを示し、セキュリティ上のリスクを評価する研究です。
この論文は、悪意のあるフォント注入を利用して大規模言語モデル（LLM）を攻撃する新しい手法を提案し、特にMCP対応ツールを介して機密データが流出するリスクを体系的に評価している点が特徴的です。
論文：https://arxiv.org/abs/2505.16957
以下は、弊社AI開発ツール「IXV」を用いてこの論文を要約したものです。見出しや章立てが元論文とは異なる場合があります。
概要
大規模言語モデル（LLM）は、リアルタイムのウェブ検索能力を備え、モデルコンテキストプロトコル（MCP）などのプロトコルと統合されることが増えています。この拡張は新たなセキュリティ脆弱性をもたらす可能性があります。本研究では、ウェブページなどの外部リソースにおける悪意のあるフォント注入を通じて隠れた敵対的プロンプトに対するLLMの脆弱性を体系的に調査します。攻撃者はコードとグリフのマッピングを操作し、ユーザーには見えない欺瞞的なコンテンツを注入します。
私たちは二つの重要な攻撃シナリオを評価します：（1）「悪意のあるコンテンツ中継」と（2）MCP対応ツールを通じた「機密データ流出」です。実験の結果、注入された悪意のあるフォントによる間接的なプロンプトが、外部リソースを介してLLMの安全メカニズムを回避できることが明らかになり、成功率はデータの機密性やプロンプトの設計に基づいて変動します。本研究は、外部コンテンツを処理する際のLLMの展開において強化されたセキュリティ対策の緊急性を強調しています。
1. はじめに
本章では、大規模言語モデル（LLM）の機能拡張が新たなセキュリティ脆弱性をもたらす可能性について述べている。特に、外部コンテンツに統合された隠れた敵対的プロンプトを介して、攻撃者がユーザーに見えない悪意のある指示を注入する手法を探求する。MCP（Model Context Protocol）により、LLMが外部リソースからの情報を処理する際に、情報流出や悪意のあるコンテンツのリレーが発生する可能性があることを示しており、これに対するセキュリティ対策の必要性を強調している。
2. 関連研究
2.1 プロンプト注入攻撃
この節では、プロンプト注入攻撃の多様性とその脅威について整理している。直接的なプロンプト注入と間接的なプロンプト注入の違いを明確にし、後者が外部データを利用して隠れた指示を埋め込む方法を解説している。また、セマンティック操作や脱獄攻撃の手法も紹介し、LLMのセキュリティリスクを浮き彫りにしている。
2.2 外部リソースを介した間接プロンプト注入
間接プロンプト注入のメカニズムと、LLMが外部リソースを処理する際にどのように攻撃者のコマンドを実行するかについて説明している。特に、現在のLLMにおけるセキュリティ対策が不十分であることを指摘し、外部リソースからの脅威に対する脆弱性を強調している。
2.3 MCPを使用したLLM
MCPの機能とリスクを解説し、LLMがユーザーの承認を得て外部APIを呼び出す際の潜在的なセキュリティリスクに焦点を当てている。特に、MCPがLLMの自律性を高める一方で、間接プロンプト注入攻撃に対する脆弱性を生む可能性があることを示している。
3. 方法と材料
3.1 悪意のあるフォント
悪意のあるフォントの定義と、コード、グリフ、フォントの関係を明確にすることで、どのようにして攻撃者がコードとグリフのマッピングを操作するかを示している。具体的には、善良なフォントと異なるマッピングを持つ悪意のあるフォントの構築方法を解説し、視覚的な欺瞞を利用して敵対的プロンプトを作成する仕組みを説明している。
3.2 実験設計
実験の流れを示し、LLMが外部リソースと相互作用する際のセキュリティ脆弱性を評価するための2つの主要なシナリオを設計している。悪意のあるコンテンツのリレーと、MCPを利用した機密データの漏洩を検証するために、悪意のあるプロンプトを埋め込んだウェブページや文書を使用して実験を行った。
3.3 シナリオ1: 悪意のあるコンテンツリレー
この攻撃シナリオでは、攻撃者が隠れた敵対的プロンプトを含むウェブページや文書を作成し、LLMがそれを処理する際に悪意のあるコンテンツをユーザーに伝播する可能性を評価している。具体的には、プロンプトの設計、ドキュメント形式、注入頻度、戦略的配置の各要素が攻撃の成功率に与える影響を分析している。
3.4 シナリオ2: 機密データ漏洩
Gmail MCPツールを利用したこのシナリオでは、ユーザーからの合意を得た後、LLMが機密データを抽出し、攻撃者のメールアドレスに送信する過程を評価している。データの感度レベルや、以前の正当なメールリクエストの存在の影響を調査し、攻撃の成功率を分析している。
4. 実験結果
4.1 シナリオ1: 悪意のあるコンテンツリレー
実験では、プロンプト設計やドキュメント形式、注入頻度、プロンプト配置の戦略が攻撃成功率に与える影響を系統的に評価している。特に、PDFフォーマットがHTMLよりも高い成功率を示す一方、プロンプト配置によって成功率が変動することを明らかにしている。
4.2 シナリオ2: 機密データ漏洩
このサブセクションでは、機密データの無許可の送信に関する成功率に影響を与える要因を評価している。データの感度レベルが成功率に逆相関することや、以前のメールリクエストの存在がデータの抽出を促進することを示している。また、隠れたプロンプトの設計が成功率に及ぼす影響を分析している。
5. 議論
LLMの脆弱性に関する分析は、特にMCPの統合に伴うセキュリティリスクを強調している。高度なモデルが新たな脆弱性を引き起こす可能性があることを示し、視覚的な欺瞞を利用した攻撃の新たな攻撃面に対処するための包括的なセキュリティアプローチの必要性を訴えている。
6. 結論
本研究では、悪意のあるフォントを利用した隠れた敵対的プロンプトの脆弱性を調査し、PDFがHTMLよりも高い攻撃成功率を示すことや、間接的なプロンプトが安全機構を回避できることを明らかにしている。MCPのようなアプリケーションにおけるLLMのセキュリティリスクを浮き彫りにし、コンテンツおよび視覚的整合性の保護を強化する必要があることを強調している。