詳細情報:
プロンプトビルダーの使用状況とフィードバック評価指標
生成数とユーザーが送信したフィードバックを追跡して、特定の Einstein プロンプトテンプレートの採用と品質を監視します。
コントロール名
Einstein プロンプトビルダーの使用状況とフィードバック評価指標
制御の概要
生成数とユーザーが送信したフィードバックを追跡して、特定の Einstein プロンプトテンプレートの採用と品質を監視します。
説明
テンプレート固有のパフォーマンスデータのキャプチャを有効にします。これには、テンプレートがトリガーされる頻度と関連するフィードバックの理由が含まれます。
推奨設定
[設定] から、[クイック検索] ボックスに「Einstein 監査」と入力し、[Einstein 監査、分析、監視の設定] を選択します。「プロンプトビルダー利用状況およびフィードバック評価指標」を有効にします。これらの総計値を確認するには、「プロンプトテンプレートマネージャー」権限をシステム管理者に割り当てます。
セキュリティへの影響
基盤となる CRM データの変更によってプロンプトテンプレートの品質が低下したり、リスクの高い応答が生成されたりする AI パフォーマンスの変動を特定します。
ビジネスへの影響
実際にツールを使用している部門と、役に立つためにエンジニアリングの改善が必要なテンプレートを示すことで、生成 AI のデータ主導の ROI 分析を可能にします。
設定されていない場合のセキュリティリスク
企業はプロンプトの有効性を把握していません。品質が低い、または誤解を招く AI 回答は、正式なフィードバックループのない従業員が修正に使用できます。
脅威のシナリオ
気付かない幻覚: テンプレートでは不正確なデータが絶えず生成されますが、総計値が無効になっているため、システム管理者はユーザーが手動で AI を修正 (または無視) していることに気付きません。
推定 CVSS スコア範囲
重大 (9.0 ～ 10.0)。
リスクの影響に関する考慮事項
AI インタラクションの手動スポットチェックが不可能になった大規模なチーム全体で AI を拡張する会社にとって、大きな影響があります。使用量が多いほど、これらのログの定期的な監視を実装することが、この機能の利点を最大限に活用するための重要なステップになります。
より高いリスク
プロンプトのカスタム確認/フィードバックステップは設定されていないため、システム管理者はデータが制限されますが、応答に失敗した理由に関するコンテキストは残されません。
低リスク
プロンプトテンプレートの利用状況総計値を定期的に確認するプロセスが実装され、パフォーマンスの低いテンプレートは Sandbox で反復的に調整されます。
ビジネスと統合に関する考慮事項
ストレージコスト: このデータは Data Cloud クレジットを消費します。遅延: 監査データがレポートに表示されるまで最大 24 時間かかる場合があります。
Security Health Review Guidance (セキュリティ状態レビューガイダンス)
Security Health Reviewは、プロンプトビルダーの利用状況とフィードバック評価指標の「有効」状況を検証し、プロンプト テンプレートの利用状況評価指標が記録されていないインスタンスにフラグを設定して、AIの安全性を向上できないようにします。
影響を受けるユーザー
データガバナンス担当者、AI 管理者、カスタマーサービスマネージャー、法務/コンプライアンス監査人。
