Observability ツールの作成とテスト

Agentforce Builder

Agentforce Builderは、広範なテストやリリースの準備ができる前にエージェントを開発および反復する場所です。[プレビュー] では、テスト会話をリアルタイムで実行し、エージェントの応答を正確に確認できます。会話をシミュレーションモードまたはライブテストモードでプレビューできます。

• データを記述または変更することなく、基本的なエージェントの会話動作をシミュレートします。これを使用して、ライブレコードに触れずにクイック調整を検証します。
• Live Test は、実際のデータに対してエンドツーエンドでアクションを実行します。アクションが正常に起動し、レコードが期待どおりに更新されることを確認する必要がある場合に使用します。このモードでは、エージェントの実際の行動を最も包括的に把握できます。

Builder には、プレビュー会話ごとに何が起きたかを調査するツールがいくつか用意されています。結果はセッションレベルで、テスト中の会話のサブエージェントルーティング、アクションの実行、応答品質などが含まれます。インタラクション概要から開始し、必要に応じてさらに掘り下げます。

インタラクション概要

プレビュー調査の開始点。会話中の会話のターンごとに使用でき、完了するまで待つ必要はありません。エージェントが応答を生成するために実行した手順の概要 (それぞれの結果を含む) が表示されます。ステップにマウスポインターを置くと、詳細が表示されます。また、エージェントのプロセスに関する AI 生成の説明も含まれ、手順を状況に合わせて進めるのに役立ちます。結果の意味が不明な場合は、Agentforce でエージェントの動作を説明したり、次のステップを提案したり、エージェントを修正したりできます。ここで問題が発生した場合、[追跡] タブに詳細が表示されます。

[トレース] タブ

各エージェントイベント、経過時間、技術的な詳細を含む、そのステップの完全な追跡データが表示されます。エージェントイベントにドリルダウンすると、システムプロンプトを含むエージェントの完全な LLM プロンプトの JSON ビューが開きます。

Agentforce Builder でエージェントをプレビューしてテストするには、「Agentforce Builder テスト」を参照してください。

テストセンターとスコアラー

テストセンターでは、オブザーバビリティループのリリース前側が形成されます。ここでは、顧客が関与する前にエージェントが大規模にパフォーマンスを行うことを確認し、本番シグナルを比較する品質とパフォーマンスのベースラインを確立し、リリース後に Analytics に継承されるスコアラーを定義して、リリース前とリリース後のデータシグナル間のループを閉じます。

テストセンターでは、サブエージェントの動作、アクションの実行、Knowledge 取得、プロンプトテンプレート、および要件に固有のカスタム条件をテストできます。テスト結果では、テストケースごとに応答品質、サブエージェントとアクションの正確性、命令の遵守、遅延がすべてリリース前に明らかにされます。

スコアラー

スコアは、テストセンターでエージェントの出力を評価するために使用される評価基準です。多くの場合、Agent Analytics で監視する評価指標に直接対応付けられ、カスタムスコアラー設定はリリース後に本番 KPI として継承されます。

テストセンターでテストを設定して実行するには、「Agentforce Studio でのテストの設定と実行 (ベータ)」を参照してください。