Você está aqui:
Criar e testar ferramentas de observabilidade
As ferramentas de criação e teste permitem que você observe o comportamento do agente durante o desenvolvimento, antes que o tráfego de produção exista. O teste no Agentforce Builder permite que você itere rapidamente em conversas individuais, enquanto o Centro de teste automatiza o teste em escala.
Edições obrigatórias
| Disponível em: Lightning Experience |
| Disponível em: Edições Enterprise, Performance, Unlimited e Developer. As licenças complementares necessárias variam de acordo com o tipo de agente. |
As ferramentas de criação e teste permitem que você observe o comportamento do agente durante o desenvolvimento, antes que o tráfego de produção exista. O teste no Builder permite que você itere rapidamente em conversas individuais, enquanto o Centro de teste automatiza testes em escala e em uma variedade de entradas.
Agentforce Builder
É no Agentforce Builder que você desenvolve e itera seu agente antes que ele esteja pronto para testes ou implantação mais amplos. A visualização permite que você execute conversas de teste em tempo real e observe exatamente como o agente responde. Você pode visualizar conversas no modo simulado ou de teste ativo:
- Simule simula o comportamento de conversa básica do agente sem escrever nem modificar dados. Use isso para validar ajustes rápidos sem tocar em registros ativos.
- O Teste ativo executa ações em relação ao ponto de extremidade dos dados reais. Use-o quando precisar confirmar que as ações são executadas corretamente e que os registros são atualizados conforme esperado. Esse modo apresenta o panorama mais completo do comportamento real do agente.
Para cada conversa de visualização, o Criador oferece várias ferramentas para investigar o que aconteceu. Os resultados são no nível da sessão e imediatos, incluindo roteamento de subagente, execução de ação e qualidade da resposta para a conversa em teste. Comece com o Resumo da interação e aprofunde-se conforme necessário.
Resumo da interação
O ponto de partida para qualquer investigação de visualização. Disponível para cada turno conversacional durante a conversa, você não precisa esperar até que ela seja concluída. Ele apresenta uma visão geral de alto nível das etapas que seu agente seguiu para gerar uma resposta, incluindo o resultado de cada uma. Passe o mouse sobre qualquer etapa para obter mais detalhes. Ela também inclui uma explicação gerada por IA do processo do seu agente, o que ajuda a colocar as etapas no contexto. Se você não tiver certeza do que significa um resultado, o Agentforce poderá explicar o comportamento do agente, sugerir as próximas etapas ou fazer correções ao agente. Quando algo parece errado aqui, a guia Rastrear vai para mais detalhes.
Guia Rastreio
Mostra dados de rastreamento completos para essa etapa, incluindo cada evento do agente, tempo decorrido e detalhes técnicos. Faça drill down em qualquer evento do agente para abrir uma visualização JSON do prompt de LLM completo do agente, incluindo avisos do sistema.
Para visualizar e testar seu agente no Agentforce Builder, consulte Teste do Agentforce Builder.
Centro de teste e pontuações
É no Centro de teste que o lado pré-implementação do loop de capacidade de observação toma forma. É lá que você confirma o desempenho do seu agente em escala antes de os clientes serem envolvidos, estabelece as linhas de base de qualidade e desempenho em relação às quais você comparará os sinais de produção e define os poncionadores que avançam para o Analytics após a implementação, fechando o loop entre os sinais de dados pré e pós-implementação.
No Centro de Testes, você pode testar o comportamento do subagente, a execução da ação, a recuperação do Knowledge, os modelos de prompt e os critérios personalizados específicos para suas necessidades. Os resultados do teste detectam a qualidade da resposta, a correção do subagente e da ação, a adesão à instrução e a latência, tudo antes da implantação, por caso de teste.
Pontadores
Pontuações são os critérios de avaliação que o Centro de teste usa para avaliar a saída do agente. Muitos mapeiam diretamente para as métricas que você monitorará no Agent Analytics, e configurações de pontuação personalizadas avançam como KPIs de produção após a implementação.
| Nível | Poncionadores | O que avalia |
|---|---|---|
| Padrão | Pontuação de resposta, Declaração de subagente, Declaração de ação | Se o subagente certo foi selecionado, a ação certa foi acionada e a resposta foi aceitável. |
| Qualidade | Completude, consistência, concisão, latência, adesão à instrução | O quão boa foi a resposta, não apenas se ela foi aprovada. Eles incluem consistência, completude, concisão, latência e adesão à instrução como dimensões distintas. |
| Personalizado | Critérios que sua implementação exige que os poncionadores padrão não possam cobrir, como voz da marca, precisão do domínio, tom ou conformidade específica do caso de uso. | |
| Rótulos definidos pelo usuário | Retorna um valor de uma lista definida por você. Use para classificação, saídas no estilo de enumeração ou rótulos de conformidade, como aprovação/falha de voz da marca, categorias de resposta aprovadas e similares. | |
| Abrir definido pelo usuário | Retorna saída não restrita, texto, um número, um URL. Use quando precisar de resultados mais avançados ou exploratórios que uma lista fixa não possa capturar. | |
| Modelo de prompt | Coerência, Concisão, Completude, Realidade, Seguindo instruções, Correspondência de resposta | A qualidade da saída para execuções de teste de modelo de prompt, incluindo factualidade, correspondência de resposta e as dimensões de qualidade padrão aplicadas a saídas de modelo. |
Para configurar e executar testes na Central de teste, consulte Configurar e executar testes no Agentforce Studio (beta).
