Você está aqui:
Entender KPIs e ferramentas de observabilidade do Agentforce
A capacidade de observação não é uma única ferramenta. É uma cadeia de ferramentas em camadas que inclui infraestrutura que captura a atividade do agente, ferramentas de desenvolvimento para testar a pré-implementação do agente e ferramentas de monitoramento que detectam tendências e detalhes no nível da sessão após a implantação.
Edições obrigatórias
| Disponível em: Lightning Experience |
| Disponível em: Edições Enterprise, Performance, Unlimited e Developer. As licenças complementares necessárias variam de acordo com o tipo de agente. |
Saber qual camada faz o que impede que seu agente seja observável durante a produção. Este artigo mapeia toda a cadeia de ferramentas e cada seção é vinculada a mais detalhes.
Infraestrutura
Para que qualquer ferramenta de observabilidade possa mostrar ou processar dados, ela precisa da infraestrutura de telemetria do agente subjacente. Habilite essas ferramentas para que o restante da cadeia de ferramentas tenha dados com os quais trabalhar.
| Ferramenta | Onde aparece | Descrição |
|---|---|---|
| Rastreamento de sessão do Agentforce | Configuração → Agentforce → Rastreamento de sessão do Agentforce | Captura cada turno, etapa de raciocínio, ação e mensagem para cada sessão do agente. Isso deve ser ativado antes que qualquer outra ferramenta de observabilidade tenha dados. |
| Rastreamento de plataforma do agente | Configuração → Busca rápida → IA generativa do Einstein → Configuração de auditoria, análise e monitoramento do Einstein → Alternância de rastreamento de plataforma do agente | Captura a telemetria em nível de serviço em todo o mecanismo de raciocínio Atlas, Apex, Fluxos, Criador de prompts, Ações invocáveis, Gateway de IA, Gateway de LLM e Federador de consulta DC. |
| Auditoria e feedback | Configuração → Busca rápida → Auditoria do Einstein → Configuração de auditoria, análise e monitoramento do Einstein | Captura entradas/saídas do LLM, dados de qualidade de recuperação, avaliações do Trust, saídas de proteção e sinais de feedback do usuário. Aumenta as pontuações de qualidade e Trust no Agent Analytics. |
| Dados e métricas de qualidade do Knowledge/RAG | Configuração → Busca rápida → Auditoria do Einstein → Configuração de auditoria, análise e monitoramento do Einstein → Dados e métricas de qualidade do Knowledge/RAG | A qualidade da recuperação de pontuação, como Fidelidade da resposta, Relevância da resposta, Relevância do contexto, é processada por meio do pipeline Auditoria e feedback. Ativa as métricas de recuperação nas Pontuações de qualidade. |
| Camada Trust | Configuração → Busca rápida → Einstein → Camada do Einstein Trust | Pontua a adesão à instrução e a toxicidade derivadas de saídas do Gateway do LLM, processadas por meio do pipeline Auditoria e feedback. Ativa as métricas Trust no Agent Analytics. |
Aprofunde-se em cada uma dessas ferramentas na Infraestrutura de observabilidade do Agentforce.
Criar e testar
As ferramentas de criação e teste permitem que você observe o comportamento do agente durante o desenvolvimento, antes que o tráfego de produção exista.
| Ferramenta | Onde aparece | Descrição |
|---|---|---|
| Agentforce Builder | Agentforce Studio → Criador | O espaço de trabalho principal para desenvolvimento e teste de agente iterativo. Execute conversas no modo de simulação sem gravar dados ou no modo de Teste ativo em relação a dados de ponta a ponta reais. |
| Resumo da interação | Agentforce Studio → Criador → Painel de visualização | Mostra a seleção de subagente, a execução da ação e o raciocínio para uma conversa de teste. Faça drill down em qualquer item para tempo passo a passo e transições de subagente. |
| Centro de teste | Agentforce Studio → Central de testes do Agentforce | Avaliação em lote da recuperação do Knowledge, seleção de subagente e ação e resolução de tarefas, antes da implantação. Gera e pontua enunciados em um pacote de teste usando poncionadores padrão, de qualidade e personalizados. Os poncionadores personalizados apresentam a pós-implementação no Agent Analytics. |
Aprofunde-se em cada uma dessas ferramentas em Criar e testar ferramentas de observabilidade.
Observar
Depois que seu agente é implementado, as ferramentas de fase de observação rastreiam tendências em todas as sessões para que você possa investigar conversas específicas e detalhar os detalhes no nível da etapa.
| Ferramenta | Onde aparece | Descrição |
|---|---|---|
| Agent Analytics | Agentforce Studio → Observar e otimizar → Análise | Agrega dados de desempenho em todas as sessões e detecta tendências por área de resultado nos painéis do Tableau Next. As guias variam de acordo com o tipo de agente e abrangem eficácia, uso, qualidade, integridade, Trust e voz. |
| Otimização de agente | Agentforce Studio → Observar e otimizar → Otimização | Visualização de sessão individual com filtragem por intenção, resultado e pontuação de qualidade. As sessões processadas incluem agrupamento de intenções e pontuações de qualidade; As sessões não processadas estão disponíveis imediatamente. |
| Resumo da interação | Agentforce Studio → Observar e otimizar → Detalhes da sessão de otimização | Divisão estruturada de uma intenção selecionada mostrando subagentes acionados, ações acionadas, pontuação de qualidade e raciocínio da pontuação de qualidade gerada pelo LLM. |
| Rastrear | Agentforce Studio → Observar e otimizar → Detalhes da sessão de otimização | Registro ordenado por tempo de cada etapa de processamento com texto de erro e momento por etapa. Disponível imediatamente, incluindo para sessões que ainda estão sendo processadas. |
| Saúde do agente | Agentforce Studio → Alertas | Crie alertas e defina limites para que você seja notificado quando a atividade do agente violar os níveis aceitáveis. |
| Guardrails do monitor | Agentforce Studio → Observar e otimizar | Visualização dedicada para adesão à instrução e tendências de resolução de tarefas, separada da visualização mais ampla do Analytics. |
| Monitorar seu agente habilitado para voz | Guia Agentforce no Supervisor Omni (console do Service Cloud) | Visualização quase em tempo real do supervisor de chamadas de voz ativas com transcrições ao vivo. |
| Editor de consulta do Data 360 | Data 360 → Consultas | Acesso direto SQL a todas as quatro camadas de dados subjacentes para agregações personalizadas, junções de objetos cruzados e análise que a IU do produto não detecta. |
Analise cada uma dessas ferramentas em Observe ferramentas de observabilidade de fase.
A cadeia de ferramentas funciona melhor em sequência. Comece com a Infraestrutura para garantir que os dados estejam fluindo, use Criar e testar para capturar problemas antes da implantação e use Observar para rastrear o desempenho e investigar após a implantação.
