Loading
IA generativa do Agentforce e do Einstein
Definir o sucesso do agente

Definir o sucesso do agente

Agentforce revela muitos dados. Sem uma ideia clara do que seu agente deve realizar, esses dados criam ruído, em vez de direção. Definir o sucesso antes de começar a medir é como você sabe quais sinais importam, quais ignoram e quando seu agente está realmente melhorando.

Edições obrigatórias

Disponível em: Lightning Experience
Disponível em: Edições Enterprise, Performance, Unlimited e Developer. As licenças complementares necessárias variam de acordo com o tipo de agente.

A maioria desses KPIs é exibida nos painéis de análise integrados da Agentforce. Os artigos a seguir mostram quais ferramentas capturam cada sinal e o que você pode precisar configurar para começar a rastreá-lo. Para obter um mapa completo da cadeia de ferramentas, consulte Entender KPIs e ferramentas de observabilidade do Agentforce.

Identificamos três áreas de resultados que abrangem o terreno comum entre as implantações do Agentforce. Esses resultados não são rígidos ou exaustivos e os agentes podem tocar em mais de um. Porém, saber onde seu agente se encaixa pode ajudá-lo a selecionar os KPIs certos, buscar as ferramentas certas e ler seus resultados com confiança.

Impacto do agente (ROI)

O agente avançou o negócio?

O Impacto do agente abrange os resultados de negócios a jusante, esteja o agente lidando com solicitações de entrada, reduzindo o custo ou gerando um resultado de negócios. Seu agente provavelmente se enquadrará nessa área se seu trabalho principal se enquadrar em áreas como desviar casos, avançar no pipeline, aumentar a conversão ou promover o engajamento da campanha. Nas visualizações de produto, as métricas que mais refletem esses resultados aparecem em Eficácia e uso.

Por exemplo, uma equipe de suporte ao cliente que tem como alvo um desvio de 70% lida com 10 mil contatos por mês. Se o desvio cair para 62%, 800 casos adicionais chegarão a um agente humano, o que é um custo concreto para o VP de suporte agir.

O teste valida os comportamentos do agente por trás desses KPIs: roteamento correto, execução de ação e qualidade da resposta. Os KPIs em si aparecem na produção, em que o Analytics agrega sessões de usuário reais nas taxas de desvio, nas taxas de abandono e nos padrões de engajamento que sua declaração de sucesso depende.

KPI O que ele indica
Adoção/Habilitação Taxa em que os usuários interagem ativamente com o agente.
Desvio Compartilhamento de contatos que o agente tratou sem escalar para um humano.
Resolução Participação de sessões em que o problema subjacente do usuário foi totalmente resolvido. Isso mede se o agente resolveu o problema do usuário, não se o agente concluiu a tarefa atribuída.
Taxa de abandono Compartilhamento de sessões em que o usuário partiu sem uma resolução.
Taxa de engajamento Compartilhamento de sessões em que o agente acionou pelo menos uma ação.
Conversão Resultados de negócios alcançados, como registros, conclusões do carrinho, oportunidades avançadas ou casos fechados.
Progressão do pipeline Oportunidades criadas ou avançadas pelo funil.
Engajamento da campanha Respostas, cliques em guias ou interações conduzidas pelo agente.
Taxa de devolução/repetição Compartilhamento de usuários que retornam após uma sessão anterior.
CSAT/NPS Satisfação do cliente no nível da sessão ou do relacionamento.

Eficácia e interação do agente

Foi uma boa conversa?

A eficácia e a interação são sobre a qualidade na sessão da perspectiva do usuário, como se o agente entendeu o que foi perguntado, respondeu com precisão e fez a interação parecer tranquila. Seu agente provavelmente se enquadrará nessa área se a qualidade das interações individuais for a principal medida de sucesso:

  • um assistente de vendas em que a adesão à instrução e a precisão da resposta são importantes

  • um agente voltado para o funcionário em que a taxa de nova solicitação é um sinal de atrito

  • qualquer agente em que o feedback do usuário (CSAT, polegar para cima ou para baixo, NPS) seja rastreado como um resultado.

Nas visualizações de produto, essas métricas aparecem em Eficácia e Pontuações de qualidade.

Por exemplo, enquanto um agente com 92% de conclusão de tarefa e uma alta taxa de repetição de prompts está tecnicamente concluindo seu trabalho, os usuários precisam perguntar a mesma coisa de várias maneiras para chegar lá. Assim, a Experiência do usuário sinaliza um ponto de atrito cuja taxa de conclusão da tarefa sozinha não aparece.

As pontuações de qualidade e a adesão às instruções são mensuráveis em um ambiente de teste. Você pode rastreá-las no Centro de teste e no Agentforce Builder antes da implantação. Sinais como CSAT e Experiência do usuário surgem apenas de sessões de usuário ativas.

KPI O que ele indica
Eficácia Participação de sessões em que o agente concluiu sua tarefa atribuída. Isso mede o comportamento do agente, não se o problema subjacente do usuário foi resolvido.
Qualidade Qual era a precisão, a segurança e a relevância das saídas do agente.
Adesão à instrução A consistência com que o agente seguiu as instruções configuradas durante a conversa.
Taxa de engajamento Compartilhamento de sessões em que o agente acionou pelo menos uma ação.
CSAT/NPS Satisfação do cliente no nível da sessão ou do relacionamento.

Integridade e segurança do agente

O sistema é saudável e funciona dentro dos limites?

O Integridade e segurança do agente abrange o estado operacional e técnico do agente, seja ele rápido, disponível e permanecendo dentro de suas proteções configuradas. Seu agente provavelmente se enquadrará nessa área se tempo de atividade, latência ou conformidade forem requisitos explícitos:

  • uma implantação regulamentada do setor em que violações de proteção devem ser rastreadas

  • uma implantação de alto volume em que a latência afeta a experiência do usuário em escala

  • qualquer agente em que a disponibilidade seja uma preocupação contratual

Nas exibições de produto, essas métricas aparecem em Saúde e Trust.

Por exemplo, um pico de taxa de escalação às 2h parece alarmante no Analytics diário. No entanto, ver a disponibilidade em um retorno de 5 minutos revela que foi uma interrupção de 20 minutos, não uma mudança de comportamento sustentada. Sem essa área de resultado na visualização, o mesmo sinal é mal lido e a correção incorreta é priorizada.

Latência, adesão a instruções e violações de proteção são detectáveis em um ambiente de teste. Disponibilidade e taxa de escalação só se tornam relevantes em escala de produção.

KPI O que ele indica
Desempenho A rapidez com que o agente responde, medida por latência de turnos, latência de recuperação e taxa de transferência.
Disponibilidade Se o agente está pronto para responder sem erros ou tempos limite.
Taxa de escalação Participação de sessões transferidas para um agente humano ou outro sistema.
Adesão à instrução Como as respostas do agente cumpriam de modo consistente os requisitos de instrução configurados.
Restrições e proteções Se o agente operou dentro dos limites definidos de conformidade, privacidade e conteúdo.

A maioria dos agentes toca em mais de uma área. Comece com a área mais diretamente vinculada ao motivo pelo qual o agente foi criado e escolha dois a quatro KPIs dessa área. Se seu agente abranger claramente várias áreas, decida qual lens é o principal antes de implementar.

Dica
Dica Se você precisar de uma história rápida de retorno sobre o investimento para um VP ou parte interessada do negócio, comece com uma métrica, aquela que já existe no negócio e mapeia mais diretamente para o que o agente substituiu. Você não está criando uma nova estrutura; está movendo um número que eles já estão vendo.

Você deve ser capaz de preencher uma instrução success:

Nota
Nota "Este agente é bem sucedido quando [resultado], conforme medido por [sinal], para [quem]."

Por exemplo, para um agente de serviço: "Esse agente é bem-sucedido quando as perguntas de faturamento são resolvidas sem uma transferência, medida por uma taxa de desvio de 70% ou mais e CSAT de 4.0 ou mais, para a equipe de atendimento ao cliente que lida com contatos de faturamento."

Ou, para um agente de vendas: "Esse agente é bem-sucedido quando os representantes de vendas recebem recomendações de produto precisas na primeira solicitação, conforme medido pela adesão às instruções em 90% ou mais e taxa de reavaliação abaixo de 15%, para a equipe de vendas corporativa."

Na fase de observação, sua declaração de sucesso é a referência em relação à qual você compara os dados de produção. Quando um KPI se desvia dessa definição de sucesso, esse é o sinal para agir, começando com a análise de causa raiz. Quando vários KPIs se desviam de uma só vez, essa instrução informa qual priorizar.

Se você puder preencher todas as três partes e apontar para qual área de resultado tem mais peso, terá o que precisa para avançar.

 
Carregando
Salesforce Help | Article