了解 Agentforce 可观察性 KPI 和工具
可观察性不是单一的工具。这是一个分层工具链,包括捕获客服人员活动的基础设施、用于测试客服人员部署前的开发工具,以及部署后显示趋势和会话级详细信息的监控工具。
所需的 Edition
| 适用于:Lightning Experience |
| 适用于:Enterprise、Performance、Unlimited 和 Developer Edition。所需的加载项许可证因客服人员类型而异。 |
了解哪个层的功能是什么,让您的客服人员从构建到生产都可以观察到。本文映射了完整的工具链,每个部分都链接到更多详细信息。
基础设施
在任何可观察性工具可以显示或处理数据之前,他们需要基本的客服人员遥测基础设施。启用这些工具,以便工具链的其余部分可以使用数据。
| 工具 | 显示的位置 | 描述 |
|---|---|---|
| Agentforce 会话跟踪 | 设置 → Agentforce → Agentforce 会话跟踪 | 捕获每个客服人员会话的每个轮次、推理步骤、操作和消息。这必须在任何其他可观察性工具拥有数据之前启用。 |
| 客服人员平台跟踪 | 设置 → 快速查找 → Einstein 生成式 AI → Einstein 审计、分析和监控设置 → 客服人员平台跟踪切换 | 跨 Atlas 推理引擎、Apex、流、提示生成器、可调用操作、AI 网关、LLM 网关和 DC 查询聚合器捕获服务级别遥测。 |
| 审计和反馈 | 设置 → 快速查找 → Einstein 审计 → Einstein 审计、分析和监控设置 | 捕获 LLM 输入/输出、检索质量数据、Trust 评估、护栏输出和用户反馈信号。在 Agent Analytics 中支持质量得分和 Trust。 |
| Knowledge/RAG质量数据和度量 | 设置 → 快速查找 → Einstein 审计 → Einstein 审计、分析和监控设置 → Knowledge/RAG 质量数据和度量 | 通过审计和反馈漏斗处理的答案忠诚度、答案相关性、上下文相关性等得分检索质量。支持质量得分中的检索度量。 |
| Trust 层 | 设置 → 快速查找 → Einstein → Einstein Trust 层 | 对通过审计和反馈漏斗处理的 LLM 网关输出得出的指令遵守率和毒性进行评分。在 Agent Analytics 中支持 Trust 度量。 |
深入了解 Agentforce 可观察性基础设施中的每个工具。
构建和测试
通过构建和测试工具,您可以在生产流量存在之前观察客服人员在开发过程中的行为。
| 工具 | 显示的位置 | 描述 |
|---|---|---|
| Agentforce Builder | Agentforce Studio → 生成器 | 用于迭代客服人员开发和测试的主要工作区。在不写入数据的情况下,在模拟模式下运行对话,或在实时测试模式下端到端地针对真实数据运行对话。 |
| 互动汇总 | Agentforce Studio → 生成器 → 预览面板 | 显示测试对话的子客服人员选择、操作执行和推理。深入了解任何项目,以进行逐步定时和子客服人员转换。 |
| 测试中心 | Agentforce Studio → Agentforce 测试中心 | 在部署前,对 Knowledge 检索、子代理和操作选择以及任务解决进行批量评估。使用默认、质量和自定义得分器在测试套件中生成话语并进行评分。自定义得分器会在 Agent Analytics 中显示部署后。 |
深入了解构建和测试可观察性工具中的每个工具。
观察
在部署客服人员后,观察阶段工具会跟踪所有会话的趋势,以便您可以调查特定对话并深入了解步骤级详细信息。
| 工具 | 显示的位置 | 描述 |
|---|---|---|
| Agent Analytics | Agentforce Studio → 观察和优化 → Analytics | 聚合所有会话的性能数据,并在 Tableau Next 仪表板中按结果区域显示趋势。选项卡因客服人员类型而异,并涵盖有效性、使用情况、质量、运行状况、Trust 和语音。 |
| 客服人员优化 | Agentforce Studio → 观察和优化 → 优化 | 具有按意图、结果和质量得分筛选的个人会话视图。已处理会话包含意图集群和质量分数;未处理的会话立即可用。 |
| 互动汇总 | Agentforce Studio → 观察和优化 → 优化会话详细信息 | 选定意图的结构化细分,显示触发的子客服人员、触发的操作、质量得分和 LLM 生成的质量得分推理。 |
| 跟踪 | Agentforce Studio → 观察和优化 → 优化会话详细信息 | 每个处理步骤的时间排序记录,包括每个步骤的时间和错误文本。立即可用,包括仍在处理的会话。 |
| 客服人员健康 | Agentforce Studio → 警报 | 创建警报并设置阈值,以便在客服人员活动违反可接受水平时通知您。 |
| 监控客服人员护栏 | Agentforce Studio → 观察和优化 | 适用于指令遵守和任务解决趋势的专用视图,与更广泛的 Analytics 视图不同。 |
| 监控启用语音的客服人员 | 全方位主管中的 Agentforce 选项卡(Service Cloud 控制台) | 具有实时脚本的活动语音通话的近乎实时的主管视图。 |
| Data 360 查询编辑器 | Data 360 → 查询 | 直接 SQL 访问所有四个基础数据层,以便进行自定义聚合、跨对象连接以及产品 UI 不会显示的分析。 |
在观察相位可观察性工具中,深入了解其中每个工具。
工具链按顺序效果最佳。从基础设施开始,以确保数据流动,使用构建和测试,以在部署前发现问题,并使用观察,以在部署后跟踪性能和调查。
本文章是否解决您的问题?
请与我们共享您的想法,以便我们进行改进!
