使用性能见解评估提示

性能见解面板概览

该面板显示了与提示预览和生成相关联的性能度量。运行预览后，您可以查看：

• 响应时间（延迟）
• 令牌使用情况
• 屏蔽值

响应时间（延迟）

响应时间显示完成生成所需的总时间。该部分包括：

• 检索提示元数据
• 检索所需数据（例如对象和流）
• 将合并字段与实际数据进行混合
• 汇总（如果提示超过模型的上下文窗口）
• 屏蔽敏感字段
• 生成响应
• 其他（考虑之前列出的步骤之外的次要处理时间）

了解响应时间的细分有助于识别性能瓶颈，例如过度的数据检索，了解模型选择如何影响生成速度，并了解后台处理，例如汇总。

令牌使用情况

令牌使用情况显示生成期间使用的令牌总数。令牌使用情况分为以下类别：

• 令牌总数：输入和输出令牌
• 输入令牌：发送到模型的所有内容
• 输出标记：模型生成的响应

重要 单个输入组件显示为近似值。令牌总数来自 LLM 网关，并反映计费计算的值。当提示在预览之外运行时，令牌计数会影响计费。计费根据包括输入和输出的总令牌使用情况计算。

屏蔽值

屏蔽数据显示在性能见解面板中。您可在此处查看屏蔽字段列表，并确认屏蔽数据未发送到模型。