Agentforce 可观察性基础设施
在任何可观察性工具可以显示或处理数据之前,必须启用基础客服人员遥测基础设施,并在 Data 360 中收集活动数据。
所需的 Edition
| 适用于:Lightning Experience |
| 适用于:Enterprise、Performance、Unlimited 和 Developer Edition。所需的加载项许可证因客服人员类型而异。 |
Agentforce 会话跟踪
Agentforce 会话跟踪会跟踪客服人员活动层。它捕获每个会话的每个客服人员轮次、推理步骤、操作、消息和错误,并将其存储在 Data 360 的结构化对象中。见 Agentforce 会话跟踪。
会话跟踪数据模型 (STDM) 有五个对象以嵌套层次结构组织:
AiAgentSession— 每个会话的顶级记录。字段SessionEndType,映射到转移、升级和放弃的会话。AiAgentSessionParticipant— 会话中的人员:联系人、潜在客户、用户或客服人员 API 名称。AiAgentInteraction— 会话中一个回合。字段TopicApiName标识哪个子客服人员处理了轮次。AiAgentInteractionStep- 依次执行一个不连续的步骤:工具调用、Apex 调用、流调用或 LLM 调用。AiAgentInteractionMessage— 每个回合的实际输入/输出文本。
这些对象为客服人员 Analytics 中的“有效性”、“使用情况”和“运行状况”选项卡以及客服人员优化中的会话列表和跟踪提供内容。所有五个对象都可以通过 Data 360 查询编辑器直接查询,以便进行自定义聚合和联接。有关完整的对象参考,请参见Agentforce 会话跟踪数据模型。
客服人员平台跟踪
Agent 平台跟踪将数据收集扩展到服务层,即在 Agentforce 基础设施中执行决策会话跟踪记录时发生的情况。会话跟踪会告诉您客服人员的决定和说法,客服人员平台跟踪会告诉您哪个服务运行了、运行了多长时间以及处于什么状态。它跨 Atlas 推理引擎、Apex、流、提示生成器、可调用操作、AI 网关、LLM 网关和 DC 查询聚合器捕获服务级别遥测。数据存储在单个 DMO 中,独立于 STDM,并可通过TelemetryTraceId连接。
ssot__TelemetryTraceSpan__dlm— 父/子跨度关系、持续时间(纳秒)、操作名称、服务名称和状态代码。
这样,您将在整个 Agentforce 生态系统中拥有分布式跟踪。请参阅客服人员平台跟踪。
审计和反馈
审计和反馈跟踪 LLM 网关层。它捕获每个 LLM 呼叫的输入和输出,包括提示文本、响应文本、Trust 评估、护栏输出和用户反馈信号。会话跟踪会告诉您客服人员执行的操作,而审计和反馈会告诉您 LLM 响应是否准确、安全和基于 Knowledge 源。
GenAIGatewayRequest— 发送到 LLM 的提示和上下文GenAIGatewayResponse— 将网关请求加入生成输出GenAIGeneration— LLM 生成的响应文本,包括屏蔽和取消屏蔽版本,以及生成参数GenAIFeedback— 用户反馈信号,例如向上/向下拇指。GenAIContentQuality— 输入/输出是否安全/不安全,包括毒性检测GenAIContentCategory— Trust 层检测器结果按类型划分:InstructionAdherence、TaskResolution、TOXICITY、PROMPT_DEFENSE
审核和反馈数据显示在客服人员 Analytics 的质量得分、Trust 和用户满意度中,以及客服人员优化的质量得分推理字段中。有关当前度量,请参阅Agent Analytics和设置 Einstein 生成式 AI 审计和反馈。
Knowledge/RAG 质量数据和度量
Knowledge/RAG 质量数据和度量将检索质量评分添加到审计和反馈漏斗。它捕获查询与任务的相关性、响应对检索的 Knowledge 源的忠诚度以及检索的 Knowledge 源与查询的相关性。
关键对象:
GenAIRetrieverRequest— 发送到 Knowledge 源的检索查询GenAIRetrieverResponse— 返回检索的上下文GenAIRetrieverQualityMetric— 答案忠诚度、答案相关性和上下文相关性得分
它填充 Agent Analytics 中质量得分中的检索质量度量,该度量指示 Knowledge 源是否返回正确的内容,这与 LLM 的响应质量无关。设置步骤见设置 Knowledge/RAG 质量数据和指标。
Trust 层
Trust 层是合规评分层。它从 LLM 网关输出生成指令遵守和毒性分数。Trust 层得分存储在GenAIContentCategory和GenAIContentQuality中,即审计和反馈中的相同对象。
它显示在 Agent Analytics 的 Trust 中,让您了解客服人员是否遵循其指示,是否在可接受的内容范围内。设置步骤见 Einstein Trust 层。
每个图层为可观察性工具链的不同部分提供支持。您启用的层越多,客服人员行为视图越完整,客服人员开发生命周期就越完整,您可以使用证据进行导航。
