プロンプトテンプレートスコアラーの選択
テストケースに適用するスコアラーを選択します。各スコアラーはプロンプトテンプレートの出力の異なるディメンションを評価し、合否結果を返します。
必要なエディション
| 使用可能なインターフェース: Lightning Experience |
| 使用可能なエディション: Enterprise Edition、Performance Edition、Unlimited Edition、および Developer Edition。必要なアドオンライセンスはエージェント種別によって異なります。 |
| 必要なユーザー権限 | |
|---|---|
| テストセンターでテストを作成する | Agentforce グリッドの管理 および Agentforce テストの管理 |
-
テストケースに適用するスコアラーを選択します。
実行後にスコアを表示して LLM で推論を判断する方法については、「テスト結果の使用」を参照してください。
スコアラー 説明 一貫性 応答が論理的に構造化されていて、追跡しやすく、文法エラーがないかどうかに基づいて合否を返します。合格とは、応答が明確に伝わることを意味します。失敗とは、応答が混乱したり、バラバラになったり、読みづらくなったりすることを意味します。 簡潔性 精度を犠牲にすることなく、応答が適切に簡潔であるかどうかに基づいて合否を返します。パスは応答が不要な長さを避けることを意味します。失敗は応答が冗長であるか、無関係なコンテンツでパディングされている可能性があることを示します。 完全性 応答に必要な情報がすべて含まれているかどうかに基づいて、合否を返します。合格とは、要求された内容が回答の対象範囲に含まれることを意味します。不合格とは、回答で重要な情報が省略されているか、入力に部分的にしか対応していないことを意味します。 事実 応答の情報が正しいかどうかに基づいて合否を返します。合格は応答に正確な情報が含まれていることを意味します。失敗は応答にエラーまたはサポートされていない要求が含まれていることを示します。 命令フォロー中 応答がプロンプトテンプレートで定義された指示にどの程度従っているかに基づいて、1、3、または 5 のスコアを返します。スコア 5 (高) は、応答が指示に完全に従ったことを意味します。スコア 3 (不確定) は、遵守を確定的に判断できないことを意味します。スコア 1 (低) は、応答が指示から逸脱したことを意味します。 応答一致 プロンプトテンプレートの応答が、指定した期待される出力にどの程度近いかに基づいてスコアを返します。審査員 LLM を使用して、応答を [期待出力] 列と比較します。スコアが高いほど、より近い一致を示します。このスコアラーを実行するには、CSV に [期待出力] 列を含める必要があります。 -
[保存] をクリックします。
テストスイートが作成され、グリッドビューに表示されます。これを実行するには、テストスイートを開き、[テストを実行] をクリックします。
この記事で問題は解決されましたか?
ご意見をお待ちしております。
