优化和测试语义模型
构建、丰富和测试语义模型是一个迭代的过程，而不是线性的过程。在您定义和细化语义模型时，您可以使用语义模型生成器中提供的各种反馈机制进行增量调整。随着您对方法的微调，每个改进都可以带来更好的运营结果。
所需的 Edition
| 查看支持的版本。 |
| 所需用户权限 | |
|---|---|
| 要使用语义 AI 模型优化和问答校准： | Tableau 未计量管理员或 Tableau Next 管理员 或者 Tableau 未计量平台分析师或 Tableau Next 平台分析师 |
- 优化
定义语义模型时，使用语义模型生成器中的优化工具，将贵组织的独特智能直接嵌入模型。
- 测试
当 Tableau Agent 准备好供贵组织使用时，您希望通过使用问答校准来测试、分析、提炼和重新测试预期问题，或者通过手动、迭代测试流程（或两者），来确保客服人员的质量和准确性。
优化 AI 的语义模型
使用语义模型 AI 优化 (Beta) 优化模型，并帮助加深 Tableau 客服人员对业务的理解。您提供的上下文输入是客服人员推理的基本保障。
语义 AI 模型优化针对您的语义模型运行一系列自动检查，并计算 AI 就绪的总体模型运行状况。
测试语义模型的准确性和理解性
测试是准备与 Tableau Agent 一起使用的语义模型的一个组成部分。您有两个测试问题的选项。
- 使用问答校准保存已验证的问题（测试、分类和校准）
- 手动测试大型问题集
使用问答校准保存已验证的问题
问答校准 (Beta) 是在 Tableau Agent 中测试基本问题的良好起点。使用问答校准来测试、分类和校准问题。您编译并保存的已验证问题列表提高了客服人员对类似问题的准确性。
- 收集示例问题
收集业务用户的问题，使用您自己的经验，或让 LLM 生成可能查询的列表。
- 测试和分析
当您在问答校准中使用 Tableau 客服人员测试问题时，请分析客服人员的性能，包括其查询逻辑和满足贵组织需求的回答的准确性。评估这些回复是否满足用户的需求，并匹配他们谈论贵组织中的业务和数据的方式。
- 分类
将回复分类为已验证或不准确。当回答不准确时，调查原因。它使用什么查询？查询的哪些部分出错？
- 校准
对语义模型进行增量更改。通过更新业务首选项、字段和计算来校准语义模型。
- 重新测试和完善
在客服人员中再次提问。观察这些增量更改对客服人员中回复准确性的影响。
对大量问题使用手动测试
当您有大量问题需要测试时，请直接在受支持的 Tableau Next 表面中的 Tableau Agent 中测试问题。使用电子表格记录每个问题和回答结果。通过连续的测试和完善周期提高准确性。
- 收集示例问题
您的业务用户想要问什么？从用户那里收集问题，使用您自己的经验，或使用 LLM 生成可能的查询列表。
- 测试和分析
使用这些初始问题作为开发语义模型的指南。在电子表格中记录问题、回答、不准确和改进意见。
根据 Tableau Next 中的语义模型，在 Tableau Agent 中测试示例问题。观察客服人员的回复不正确，然后尝试找出客服人员存在差距的地方，以及您可能需要增强模型的地方。
分析模型是否完整。它是否生成您预期的查询？在 Tableau Agent 中打开故障排除信息详细信息，以查看查询逻辑。查询的哪些部分不正确？
- 诊断
假设为什么响应或逻辑可能不准确。您可以对语义模型进行哪些更改来改进响应？在此阶段，识别缺失或不正确的数据、缺失或不正确的字段、缺失的计算和维度以及不正确的术语。添加业务首选项或描述能否改善响应？
- 完善和重新测试
在向试点用户组推出模型以获得持续的反馈之前，根据测试见解不断优化模型。进行您认为会有所帮助的更改，并重新测试相同的问题。记录响应，并确定准确性是否提高或需要更多细化。继续此过程，直到您的问题列表的回答准确无误。
当您发现回答准确的常见问题时，请考虑在问答校准中添加这些问题，并将其标记为已验证。这将帮助客服人员以适合您组织的语言更准确地学习和回答类似的问题。
