Testar várias previsões de intenção

Use o teste em massa para:

• Avaliar até 1.000 enunciados em uma única solicitação
• Comparar intenções esperadas e previstas
• Revise as pontuações de confiança para cada previsão
• Analisar o desempenho geral usando métricas de resumo

Você pode realizar testes em massa de duas maneiras:

• Testar enunciados personalizados: Forneça um conjunto de dados de enunciados e intenções esperadas para avaliar cenários específicos.
• Testar usando dados de bot existentes: Avalie todos os enunciados já configurados no bot para gerar um resumo de desempenho completo.

Essas duas abordagens correspondem a diferentes pontos de extremidade da API.

Antes de começar, ative Bots do Einstein e Einstein para intenções e crie seu modelo. Ative a permissão piloto do Testador de entrada em lote e ative o modelo de intenção multilíngue (Intent V3) na página Visão geral do bot.

Nota Entre em contato com o Suporte ao cliente da Salesforce para ativar a permissão piloto do Testador de entrada em lote. Se você desativar o modelo de intenção multilíngue, o Salesforce criará seu modelo usando o Intent Standard V2 (para idiomas únicos) ou o Multi-Idioma de intenção 2.5 (para vários idiomas).

Como o teste em massa funciona

O teste em massa avalia os enunciados com relação ao modelo de intenção do seu bot e retorna:

• Você inicia uma solicitação de avaliação com um conjunto de enunciados ou uma versão do bot selecionada.
• O modelo de intenção processa cada enunciado e prevê a intenção mais relevante.
• O sistema compara a intenção prevista com a intenção esperada quando fornecida.
• O sistema atribui uma pontuação de confiança e classificação a cada previsão.
• O sistema gera um resumo da previsão com métricas gerais de desempenho.
• O sistema retorna resultados consolidados para todos os enunciados avaliados.

Entender os resultados da previsão

Para entender a precisão com que o bot classifica enunciados e identificar áreas para melhoria, revise os resultados da previsão.

Resultados por enunciado. Para cada enunciado, o sistema retorna:

• Intenção prevista: A intenção identificada pelo modelo
• Resultado da previsão: Indica se a intenção prevista corresponde à intenção esperada (aprovação, falha ou não processado)
• Pontuação de confiança: Indica a probabilidade de que a previsão esteja correta

Métricas de resumo. O sistema fornece métricas agregadas para ajudar a avaliar o desempenho geral:

• Taxa de sucesso: Percentual de enunciados previstos corretamente
• Contagem de falhas: Número de enunciados previstos incorretamente
• Taxa de cobertura da intenção: Percentual de intenções previstas corretamente para pelo menos um enunciado
• Contagem de erros: Número de enunciados que o bot não podia processar

Considerações

Lembre-se destas considerações ao usar testes em massa:

• Você pode avaliar no máximo 1.000 enunciados por vez.
• Os resultados dependem da qualidade dos dados de treinamento de intenção.
• Revise previsões com falha para melhorar a precisão da intenção.
• Erros para enunciados individuais não interrompem a avaliação geral.

Para detalhes da API, consulte Recursos de previsão de intenção de enunciado do bot no Guia do desenvolvedor da API REST do Connect.