Melhorar seu bot

Coleta de dados: o relatório de instantâneo do bot

Os Bots do Einstein coletam dados em quatro categorias principais: atividade do usuário, erros, processamento de linguagem natural (NLP) e alterações de KPI. Os dados do bot também são segmentados por atividades do evento (dados sobre as conversas do bot) e dados da sessão (as próprias conversas). Se você quiser gerar relatórios sobre sessões do bot, use o objeto Sessão de definição de conversa no Criador de relatórios. Para capturar atividades do bot ao longo do tempo, recomendamos criar relatórios usando os objetos Métricas diárias do diálogo de definição de conversa e Métricas de diálogo por hora de definição de conversa.

Use relatórios padrão para identificar as principais tendências de uso no seu Bot do Einstein. Aprenda mais em Navegar nos relatórios padrão do Bot do Einstein. Você pode exportar dados de evento exportando um relatório de bot padrão como um relatório formatado. Ou você pode exportar as linhas de detalhes de um relatório de bot padrão no formato Excel ou CSV.

Você também pode coletar dados de evento por meio da API (objeto ConversationDefinitionEventLog). Para saber mais sobre os tipos de evento, acesse o Guia de referência de dados do bot. Para obter uma visão completa do bot, recomendamos incluir os dados que estão fora do bot: Objetos diferentes para registrar CSAT ou comparar tendências do bot ao calendário da empresa.

Ao criar seu relatório de instantâneo, recomendamos escolher os relatórios que funcionam melhor para as metas do bot da sua empresa. Nem todo bot possui dados nas quatro categorias. Por exemplo, os bots que não usam o Gerenciamento de intenção não têm dados de NLP, mas aceitam o texto do cliente. Além disso, cada empresa coleta dados sobre interações com clientes e KPIs de diferentes maneiras. O sucesso do relatório de instantâneo do bot não está na aparência, mas no modo como é utilizado para recomendar áreas de crescimento.

Dados de atividades do usuário: Esses dados incluem dados sobre as sessões do bot.

• Sessão de definição de conversa:
  • Duração da sessão: A duração da conversa.
  • Tipo de destino de transferência da sessão: Identifica se uma conversa terminou em uma transferência para um bot ou um representante de suporte.
  • Tipo de transferência da sessão: identifica o motivo para a transferência (solicitação do bot, erro de implementação, tempo limite de invocação atingido, privilégios insuficientes).
  • Resultado da transferência da sessão: O resultado da transferência (transferência bem-sucedida, falha na transferência, nenhuma transferência solicitada, nenhum agente disponível).
• Métricas diárias de diálogo de definição de conversa e métricas de diálogo por hora de definição de conversa:
  • Artigo: O ID do artigo do Knowledge selecionado.
  • Nome do artigo: O título do artigo do Knowledge selecionado.
  • Nome da meta: O nome de uma meta definida pelo administrador. Para definir uma meta, o administrador adiciona a etapa do diálogo Meta a um diálogo.
  • Nome da integração: O nome da conexão externa ao bot.
  • Tipo de integração: O tipo de conexão externa ao bot (API).
  • Idioma: O idioma selecionado para o bot. Um bot com um idioma mostra o conjunto de idiomas na página Visão geral do bot, e um bot com vários idiomas começa com o idioma principal e depois é atualizado para o idioma secundário selecionado.
  • Opções de menu: Uma contagem de opções estáticas selecionadas pelos usuários finais.
  • Número de diálogos iniciados: Uma contagem de diálogos iniciados, por nome de diálogo do bot.
  • Número de sessões por canal: O número de sessões agrupadas por canal.
  • Contagem de sessões: O número de conversas automatizadas pelo bot.
  • Transferências por tipo: Uma contagem de transferências, agrupadas por destino.
• Métricas de sessão de definição da conversa:
  • Último diálogo: O nome do último diálogo visitado quando a sessão do bot terminou.
  • Número de artigos selecionados: Uma contagem de artigos que o usuário final selecionou em uma sessão.
  • Número de opções selecionadas: Uma contagem do número total de opções que o usuário final selecionou em uma sessão, incluindo opções estáticas em perguntas e opções do Menu principal.
  • Número de diálogos iniciados em uma contagem de diálogos iniciados dentro da sessão.
  • Número de mensagens de entrada e saída: Uma contagem de mensagens enviadas pelo usuário final ao bot e uma contagem de mensagens enviadas do bot ao usuário final.
  • Número de diálogos interrompidos: Uma contagem dos diálogos dos quais o usuário final optou por sair (selecionando no menu Opções ou inserindo texto que corresponde a uma intenção).
  • Número de opções do menu de opções selecionadas: Uma contagem de opções que o usuário final selecionou em uma sessão no menu Opções.
  • Tempo de espera da transferência: Duração em segundos entre o usuário que solicita uma transferência e um representante de suporte que aceita a transferência.
• Logs de evento (use estes eventos para contar o número de vezes que cada um acontece em uma sessão):
  • Chamar diálogo: O bot chamou um diálogo.
  • Limpar variável: O bot usou a caixa de diálogo Limpar valor de variável. O Nome da variável está incluído no log de eventos.
  • Solicitação de encerramento de chat: O bot encerrou o chat.
  • Encerrar diálogo: O fim de um diálogo.
  • Sessão com engajamento: Em uma sessão de bot, um usuário envia pelo menos uma mensagem ou clica em pelo menos uma opção ou escolha de menu. Uma sessão é categorizada como engajada ou não.
  • Entidade extraída: O bot extraiu uma entidade com sucesso.
  • Escalação solicitada: Um escalonamento para um representante de suporte foi solicitado.
  • Entidades externas extraídas: O bot extraiu uma entidade com sucesso de uma origem externa.
  • Meta concluída: Um usuário chega a um ponto definido pelo administrador em um fluxo de diálogo em que uma meta comum do cliente é considerada concluída. Para definir uma meta, o administrador adiciona a etapa do diálogo Meta a um diálogo.
  • Inicializando a variável de contexto: O bot está acessando uma variável de contexto.
  • Chamada bem-sucedida: O bot invocou um fluxo ou Apex.
  • Idioma: O idioma selecionado para o bot. Um bot com um idioma mostra o conjunto de idiomas na página Visão geral do bot, e um bot com vários idiomas começa com o idioma principal e depois é atualizado para o idioma secundário selecionado.
  • Mensagem enviada: Uma mensagem enviada a um cliente.
  • Aviso enviado: Uma pergunta enviada a um cliente.
  • Redirecionar para diálogo: O bot redirecionou para um diálogo.
  • Avaliação da condição da regra: O bot avaliou a entrada do cliente com base nas condições da regra.
  • Resultado do item de condição de regra: Falso: O bot avaliou a entrada do cliente com base nas condições da regra e decidiu que ela não cumpre essas condições.
  • Resultado do item de condição de regra: Verdadeiro: O bot avaliou a entrada do cliente com base nas condições da regra e decidiu que ela cumpre essas condições.
  • Pesquisa bem-sucedida: Uma tentativa bem-sucedida de Pesquisa de objeto.
  • Dados confidenciais não disponíveis: Mostra quando a opção Armazenar dados de conversa de Bots do Einstein não está marcada.
  • Sessão encerrada: A sessão do bot foi encerrada.
  • Definir variável: o bot usou o diálogo Definir variável. O Nome da variável está incluído no log de eventos.
  • Iniciar diálogo: O início de um novo diálogo.
  • Iniciando uma nova sessão: o bot iniciou uma nova sessão.
  • Transferência bem-sucedida: A transferência foi bem-sucedida.
  • Transferência do bot: A conversa começou com uma transferência do bot.
  • Resposta do usuário: A resposta do cliente.

Dados de erro: estes dados incluem dados sobre quaisquer erros que ocorram em uma conversa.

• Métricas diárias de diálogo de definição de conversa e métricas de diálogo por hora de definição de conversa:
  • Número de exceções geradas por um diálogo.
• Logs de evento (use estes eventos para contar o número de vezes que cada um acontece em uma sessão):
  • Erro: Identifica quando ocorreu um erro em uma conversa.
  • Falha de chamada – erros: Destaca quando ocorreu um erro em um fluxo ou Apex. Os administradores podem combinar esses dados com listagens do registro de evento da Invocação bem-sucedida para criar uma taxa de sucesso.
  • Variável já preenchida: identifica se algo foi ignorado na conversa porque uma variável já foi preenchida. Se a opção de ignorar não foi intencional, o administrador pode incluir ações de Limpar variável para garantir que o bot não ignore a variável.
  • Falha na pesquisa – erros: identifica o número de vezes que a pesquisa encontrou um erro.
  • Falha na transferência: identifica o número de vezes que uma tentativa de transferência falhou.

Dados de NLP: Estes dados refletem o processamento de texto livre e o desempenho do modelo de intenção (se aplicável).

• Métricas diárias de diálogo de definição de conversa e métricas de diálogo por hora de definição de conversa:
  • Confuso: O número de vezes que um bot não consegue corresponder uma entrada de usuário a uma intenção ou entidade.
• Métricas de sessão de definição da conversa:
  • Contagem de solicitações de intenção do NLP: O número de entradas de texto enviadas para correspondência de intenção.
  • Contagem de erros de solicitação de intenção do NLP: O número de entradas de texto com uma correspondência de intenção bem-sucedida.
• Logs de evento (use estes eventos para contar o número de vezes que cada um acontece em uma sessão):
  • Intenção detectada com êxito: Um evento em que o bot identificou uma intenção.
  • Falha na detecção de intenção: Um evento em que o bot não identificou uma intenção.
  • Intenções externas detectadas: Um evento em que o bot detectou uma intenção de uma origem externa.
• Guia Gerenciamento do modelo:
  • Pontuação F1 por intenção: o desempenho de cada intenção individual com base na entrada do cliente. Para saber mais sobre como interpretar pontuações F1, acesse Avaliar se seus bots compreendem bem os clientes.
  • Recomendações de intenção: Detalhes sobre como melhorar cada intenção para reduzir a confusão ou aumentar a precisão.
  • Treinamento do bot: Enquanto você treina o modelo, registre o texto livre não classificado para identificar as principais perguntas que os clientes estão fazendo ao bot.

Nota Para visualizar a precisão do modelo de intenção, você pode usar a ferramenta Avaliador do Einstein Intent do AppExchange.

Dados de KPI: Estes dados são incluídos nos dados do bot. Estas métricas de desempenho são específicas para sua empresa. Elas podem incluir, entre outros, o seguinte:

• Redirecionamento de caso
• Tempo médio de manuseio em comparação ao tempo da sessão do bot
• CSAT (pontuação de satisfação do cliente)
• Qualificação de lead ativo: Sessões que resultam em uma transferência instantânea para um representante de suporte
• Qualificação de lead passivo: Número de registros de lead criados
• Número de oportunidades no pipeline com Bot como origem

Priorizar o crescimento do bot

Agora que você tem essas percepções em um único lugar, revise suas metas do bot para criar uma lista priorizada de melhorias. Muitas metas do bot se enquadram nestas áreas:

Metas de serviço: A maneira mais comum de um bot agregar valor a uma empresa é a redução de custos. Ao automatizar tarefas de baixo esforço, seus representantes de suporte podem lidar com problemas mais complexos e gerenciar facilmente picos de tráfego. Os bots focados em redução de custos podem priorizar metas como aumentar o número de funções. Os bots também podem ser expandidos para novos canais digitais, como SMS ou Facebook Messenger, para encontrar os clientes onde eles estiverem.

Para aumentar o número de funções, verifique diálogos ou seleções de menu populares para ver o que mais interessa os clientes. Além disso, acesse Treinamento do bot para ver o que os clientes estão perguntando ao bot.

Metas de vendas: Outra meta comum para os bots está na qualificação de lead de vendas. Muitos usuários finais se sentem mais confortáveis ao responder a perguntas em uma conversa em vez de preencher um formulário. Incluir dados contextuais, como o canal ou a página de origem, ajuda a combinar os leads de vendas com o melhor representante de vendas para o trabalho.

Para aumentar a qualificação de lead, adicione o bot a mais páginas do site ou expanda para diferentes canais.

Metas de satisfação do cliente: Uma ótima experiência do bot incentiva a repetição de visitas, então é importante priorizar a satisfação do cliente. As metas do bot focadas na satisfação do cliente incluem treinamento de um modelo de NLP robusto, introdução de novos idiomas e redução de taxas de erro ou confusão.

Tarefas comuns para aumentar a satisfação do cliente incluem gerar novas habilidades para aumentar a funcionalidade ou corrigir diálogos do bot para reduzir as taxas de erro. É possível clonar o bot para criar o mesmo bot em um idioma diferente ou para um novo público. Treinar o modelo de NLP e reescrever diálogos para corresponder à voz e ao tom da sua empresa ajuda o bot a entender seus clientes e insere personalidade na experiência.