提示模板批处理

概览

批处理在单个请求中异步生成大量提示响应。此方法可帮助您避免达到 LLM 速率限制，并高效处理高用量内容生成。

系统会将批处理作业排队，处理所有项目，并存储结果。您可以监控作业的进度，并在准备就绪时检索已完成的响应。实际完成时间取决于模型提供商，并可能有所不同。

常见用例包括：

• 为成千上万客户创建个性化的电子邮件市场活动。
• 从目录数据生成产品描述。
• 汇总大量个案备注或客户反馈。
• 跨多个记录翻译内容。
• 按计划或通过记录更改触发批量内容生成。

实施选项

Salesforce 提供了两种实施批处理的主要方法：

流程

这种方法适用于大多数用例，最适合构建无代码解决方案的 Salesforce 管理员。在计划触发或记录触发的流中使用提示模板（批处理生成）操作，以创建自动运行的批处理作业。这些流包括已完成和超时路径，允许您以不同的方式处理成功完成和超时情况。

限制：

• 流批处理作业通常在提交后两个小时内开始处理。
• 标准型号每天最多 10,000 代。
• 如果使用支持本机批处理的模型，每天最多生成 50,000 代。
• 使用 WebSearch 检索器时，每小时最多 1,000 个项目。

Apex

这种方法为自定义集成和自动化提供了最大的灵活性。使用 AiJobRun 和 AiJobRunItem 对象，以编程方式创建和管理批处理作业。当您想要：

• 构建自定义 UI。例如：启动作业的按钮，或列出批处理作业的仪表板。
• 动态控制批次大小（累积项目，直到计数或时间阈值，然后开始）。
• 从非记录触发或基于计划的外部事件触发。

限制：

• 对于每个 AiJobRun，最多 1,000 个 AiJobRunItem。
• 如果使用支持本地批处理的模型，每个 AiJobRun 的限制是 10,000 个 AiJobRunItem。
• 使用 WebSearch 检索器时，每小时最多 1,000 个项目。
• 24 小时内最多 5 个 AiJobRun 对象。如果您的请求超过每日限制，它们将被置于排队状态，直到限制重置。

最佳实践

选择正确的模型：

• 使用标记为支持的批次的模型：在提示生成器中是，处理速度最快。
• 避免批量使用迷你模型，因为它们明显变慢。

调整批次大小：

• 越大越好。作业数量是限制因素，而不是这些作业中的项目。200 个和 2000 个批次在大致相同的时间内完成。
• 一个或多个失败的项目不会阻止其余批次。

选择正确的实施：流与 Apex：

• 使用流，除非您需要自定义 UI 来启动作业、动态批量调整或非记录和非计划触发器。

设计流：

• 每个流仅执行一个批处理操作。链接的批处理操作排队，并显著增加运行时间。
• 尽可能将提示合并到一个模板中。
• 将超时设置为 1 天。

监视作业进度：

• 查询 AiJobRun 和 AiJobRunItem，以了解状态、项目计数、错误和响应。
• 对于事件驱动的工作流，订阅 AiJobRunStatusEvent。

局限性和注意事项

先决条件

• 指定的提示模板必须具有活动版本。
• 对于流：必须在流程自动化设置中配置默认工作流用户。

处理行为

• 根据创建日期按时间顺序处理作业。
• 在几秒钟内创建的作业可能不会遵循严格的顺序。
• 在处理开始后，输入值和某些字段变为不可变。
• 作业状态更改由系统管理，无法手动更改。
• 完成时间取决于模型提供商，并可能有所不同。

平台注意事项

• 批处理异步，结果不会立即显示。
• 设置适当的超时长度。流批处理作业建议一天。
• 通过平台事件或查询作业记录来监控作业状态。
• 在设计时间敏感的工作流时，计划处理时间。
• 考虑批次中失败项目的后备处理。