Loading
关于 Salesforce Data 360
了解丰富索引成本

了解丰富索引成本

丰富索引通过生成的智能(例如实体、汇总、主题和可回答的问题)增强块,以改善意图驱动的检索。虽然该过程增加了 AI 助手的可发现性和基础性,但它提高了索引成本,因为每个块都会产生额外的嵌入和元数据块。

从数据集生成的块数量取决于分块策略(通道提取、部分感知)和块大小等因素。这些变量共同决定了内容分块的效率和丰富索引的成本。

示例
示例

示例:信用消耗计算

考虑 5 MB 的示例数据,其中包含 PDF 文档,例如产品目录或技术指南。使用最大分块大小为 512 个令牌的结构感知分块策略,假设 Data 360 搜索分块每 MB 生成大约 16 个分块。让我们计算生成丰富块时提出的 LLM 请求总数和消耗的弯曲信用。

总块 = 5 MB x 每 MB 16 个块 = 80 个块

每个 LLM 请求处理 4 个块。

LLM 请求总数 = 80 个块 ÷ 每个 LLM 请求 4 个块 = 20 个请求

每个 LLM 请求包含令牌使用情况。让我们计算每个请求使用的总令牌。

- 提示指令需要 2100 个令牌

- 已处理块的令牌 = 4 个块 x 512 个令牌 = 2,048 个令牌

- 输出令牌总数 = 1500 个令牌

每个请求使用的令牌总数 = 2,100 + 2,048 + 1,500 = 5,648 个令牌

假设 2000 个令牌是 Salesforce 弹性信用的一个单位,开单四舍五入到最接近的单位。5 MB 数据集所需的开单单位数量是:

- 5,648 个令牌 ÷ 2,000 个令牌/单位 = 2.824 个计费单位

- 2.824 个计费单位舍入到最多 3 个计费单位。

假设每个计费单位消耗 4 个标准提示的灵活信用,在此情况下,每个 LLM 请求消耗:

3 个开单单位 x 每个单位 4 个灵活信用 = 每个 LLM 请求 12 个灵活信用

因此,对于 20 个 LLM 请求:使用的弹性信用总数 = 20 个请求 x 12 个弹性信用 = 240 个弹性信用

或者,如果数据集包含每 MB 产生更多块的文件,丰富工作量会显著增加。对于相同的 5 MB 数据集,假设结构感知的分块每 MB 产生 121 个分块。

总块 = 5 MB x 每 MB 121 个块 = 605 个块

每个 LLM 请求处理 4 个块。

LLM 请求总数 = 605 个块 ÷ 每个 LLM 请求 4 个块 = 152 个请求

根据如何计算每个请求使用的总令牌、总计费单位和每个计费单位消耗的灵活信用,让我们计算 152 个 LLM 请求的总灵活信用消耗。

每个请求使用的令牌总数 = 2,100 + 2,048 + 1,500 = 5,648 个令牌

开单总单位 = 5,648 个令牌 ÷ 2,000 个令牌/单位 = 2.824 个单位

2.824 个计费单位舍入到最多 3 个计费单位。

3 个计费单位消耗的总 Flex 信用 = 3 x 每个单位 4 个信用 = 每个 LLM 请求 12 个 Flex 信用

152 个 LLM 请求消耗的总 Flex Credit = 152 个请求 x 每个请求 12 个 Flex Credit = 1,824 个 Flex Credit

这些示例计算显示了生成的块数量如何影响发出的 LLM 请求的数量,这最终会影响消耗的弯曲信用。

 
正在加载
Salesforce Help | Article