詳細情報:
安全性とセキュリティ - プロンプトインジェクション検出
ユーザーがシステム命令を上書きして AI を意図しない動作や悪意のある動作に強制しようとするプロンプトインジェクション攻撃を検出して軽減します。
コントロール名
Einstein Trust Layer - プロンプトインジェクション検出
制御の概要
ユーザーがシステム命令を上書きして AI を意図しない動作や悪意のある動作に強制しようとするプロンプトインジェクション攻撃を検出して軽減します。
説明
プロンプトジャーニーを監視して、「前の命令を無視」コマンドや「システムの上書き」コマンドなどの敵対パターンを特定し、LLM に到達する前に要求をブロックまたはフラグ設定します。
推奨設定
Einstein Trust Layer 設定で [プロンプトインジェクション検出] を有効にします。Einstein 監査履歴が有効になっていて、インジェクション試行のイベントを記録できることを確認します。
セキュリティへの影響
内部データの漏洩、禁止されたコンテンツの生成、プロンプトテンプレートに設定された倫理的な境界の迂回など、AI がユーザーによって再プログラムされるのを防ぎます。
ビジネスへの影響
AI 主導のビジネスプロセスの整合性を維持し、ユーザーが個人的な利益または悪意のある利益を得るために AI ロジックを操作することによる業務の中断を防止します。
設定されていない場合のセキュリティリスク
LLM がシステムプロンプトを介して悪意のあるユーザーの指示に従うと、不正なデータ開示、ソーシャルエンジニアリング、不正なワークフローの実行が発生する可能性があります。
脅威のシナリオ
プロンプトインジェクション: ユーザーが AI をだまして不要なアクションを実行し、データ漏洩を引き起こします。
推定 CVSS スコア範囲
重大 (9.0 ～ 10.0)。
リスクの影響に関する考慮事項
AI がユーザープロンプトに基づいてアクション (レコードの更新やメールの送信など) を実行可能なエージェントワークフローの極端なリスク。
より高いリスク
Salesforce Trust Layer を介さない外部/サードパーティ LLM を使用する場合、またはプロンプトテンプレートが最小限のコンテキストで適切に構築されていない場合。
低リスク
プロンプトインジェクション検出が有効で、組織は Salesforce でホストされているモデル (防御機能が組み込まれています) を使用し、最小権限が AI のデータアクセスに適用されます。
ビジネスと統合に関する考慮事項
厳格な検出では、複雑な正当なユーザープロンプトに攻撃者のフラグが付けられることがあります。システム管理者は、Einstein Trust Layer 監査フィードバックデータを監視し、機密性を微調整する必要があります。
Security Health Review Guidance (セキュリティ状態レビューガイダンス)
Security Health Review は Einstein Trust Layer Setup をスキャンして、プロンプトインジェクション検出が有効になっていることを確認します。
影響を受けるユーザー
プロンプトビルダーまたはAgentforceエージェントを操作するセキュリティ チーム、AIアーキテクト、開発者、エンド ユーザー。
