Loading
Agentforce 和 Einstein 生成式 AI
构建和测试可观察性工具

构建和测试可观察性工具

通过构建和测试工具,您可以在生产流量存在之前观察客服人员在开发过程中的行为。在 Agentforce Builder 中测试使您能够快速迭代单个对话,而测试中心会自动进行大规模测试。

所需的 Edition

适用于:Lightning Experience
适用于:Enterprise、Performance、Unlimited 和 Developer Edition。所需的加载项许可证因客服人员类型而异。

通过构建和测试工具,您可以在生产流量存在之前观察客服人员在开发过程中的行为。在生成器中测试使您能够快速迭代单个对话,而测试中心自动执行大规模和跨一系列输入的测试。

Agentforce 生成器

Agentforce 生成器是您开发和迭代客服人员的地方,然后才准备好进行更广泛的测试或部署。预览允许您实时运行测试对话,并观察客服人员的确切响应方式。您可以在模拟或实时测试模式中预览对话:

  • 模拟模仿客服人员的基本对话行为,无需写入或修改数据。使用它来验证快速调整,而无需接触实时记录。
  • 实时测试针对真实数据端到端地执行操作。当您需要确认操作正确触发并且记录如预期更新时,请使用此选项。此模式可让您最完整地了解客服人员的实际行为。

对于每个预览对话,生成器会为您提供一些工具来调查发生了什么。结果是会话级别的即时结果,包括子客服人员路由、操作执行和待测对话的响应质量。从交互汇总开始,然后根据需要深入。

互动汇总

任何预览调查的起点。可用于对话期间的每次对话轮次,您无需等到对话完成。它提供了客服人员为生成响应而采取的步骤的高级概览,包括每个步骤的结果。将鼠标悬停在任意步骤上,以了解更多详细信息。它还包括 AI 生成的客服人员流程解释,这有助于将步骤置于上下文中。如果您不确定结果的含义,Agentforce 可以解释客服人员的行为,建议后续步骤或进行客服人员修复。当此处出错时,“跟踪”选项卡会进入更多详细信息。

跟踪选项卡

显示该步骤的完整跟踪数据,包括每个客服人员事件、经过的时间和技术详细信息。深入了解任何客服人员事件,以打开客服人员完整 LLM 提示的 JSON 视图,包括系统提示。

要在 Agentforce Builder 中预览和测试客服人员,请参阅 Agentforce Builder 测试。

测试中心和得分器

测试中心是可观察性循环的部署前侧形成的地方。您可以在其中确认客服人员在客户参与前的表现规模,建立将生产信号与质量和性能基线进行比较,并定义在部署后转移到 Analytics 中的得分器,从而关闭部署前和部署后数据信号之间的循环。

在测试中心,您可以测试子客服人员行为、操作执行、Knowledge 检索、提示模板和特定于您的要求的自定义条件。测试结果显示了每个测试用例的响应质量、子代理和操作正确性、指令遵守和延迟,所有这些都是预部署。

得分

得分器是测试中心用于评估客服人员输出的评估标准。许多配置直接映射到您将在 Agent Analytics 中监控的度量,自定义得分器配置在部署后会作为生产 KPI 进行。

等级 得分者 评估的内容
默认值 响应得分器、子客服人员声明、操作声明 是否选择了正确的子客服人员,是否触发了正确的操作,以及响应是否可接受。
质量 完整性、一致性、简洁性、延迟性、指令遵守 反应有多好,而不仅仅是是否通过。这些包括一致性、完整性、简洁性、延迟和指令遵守等不同维度。
自定义 您的部署要求默认得分器无法涵盖的标准,例如品牌声音、域准确性、语气或特定于用例的合规性。
用户定义的标签 从您定义的列表中返回值。用于分类、枚举式输出或合规标签,例如品牌语音合格/不合格、批准的响应类别等。
用户定义的打开 返回不受约束的输出、文本、数字、URL。当您需要固定列表无法捕获的更丰富或更具探索性的结果时使用。
提示模板 一致性、简洁性、完整性、事实性、遵循指令、响应匹配 提示模板测试运行的输出质量,包括事实性、响应匹配和应用于模板输出的标准质量维度。

要在测试中心设置和运行测试,请参阅在 Agentforce Studio (Beta) 中设置和运行测试。

 
正在加载
Salesforce Help | Article