Poncionadores e poncionadores personalizados (beta)

Onde os poncionadores aparecem em otimização e análise

• Teste de próxima geração — Crie poncionadores personalizados como parte de um pacote de teste novo ou existente, refine-o e publique-o.
• Scorer Hub (Agentforce Studio) — Local central para visualizar, ativar e gerenciar os poncionadores.
• Tabela de sessões e intenções – As sessões mostram os resultados do marcador; filtre e analise por dimensões personalizadas do marcador.
• Página de sessão – As sessões mostram rótulos e pontuações associados.
• Painéis do Analytics – Medidas de pontuação personalizadas aparecem como métricas para relatórios.

Considerações e limitações

• Disponível no Lightning Experience nas edições Enterprise, Performance e Unlimited com o Salesforce Foundations ou Agentforce 1 Edition em que o Agente otimizado e o Analytics estão habilitados.
• Os Pontuadores personalizados estão na versão Beta e não exigem nenhuma licença adicional além do Agentforce.
• Durante o beta, há suporte apenas para poncionadores no nível da sessão.
• Os poncionadores personalizados não são compatíveis com os tipos de agente Agente do funcionário do Agentforce (AEA).
• O tipo de agente SDR aparece no Hub de pontuação, mas não no menu suspenso do agente da IU de otimização.
• Poncionadores padrão (A&D, Pontuação de qualidade) são criados quando o STDM é provisionado. Se estiverem ausentes, verifique se há um problema de provisionamento.
• Você deve clonar um pontor padrão antes de editá-lo; não há suporte para edição direta durante o beta.
• Os poncionadores baseados em expressão exigem um tipo de saída booleano.
• Poncionadores numéricos em uma escala de 0 a 1 não são recomendados porque o desempenho dos LLMs é ruim em intervalos numéricos muito estreitos.
• As sessões do Centro de teste não são pontuadas por poncionadores personalizados. As sessões do Centro de teste não recebem um carimbo de data e hora de término, assim, a ação de dados que aciona a avaliação do pontor personalizado nunca é disparada.

Visão geral

Os poncionadores avaliam as sessões do agente e geram pontuações, dimensões (valores de texto) e medidas (valores numéricos). Eles fazem parte da Otimização e observabilidade do Agentforce. Eles são executados automaticamente em relação a uma porcentagem configurável de sessões e apresentam resultados em Otimização e Analytics para que administradores e desenvolvedores possam melhorar o desempenho do agente continuamente.

Existem dois tipos de poncionadores:

• Os pontuadores padrão são fornecidos pela Salesforce prontos para uso.
• Os pontores personalizados são definidos pela sua organização para avaliar critérios específicos da empresa.

Poncionadores padrão

Poncionadores padrão são avaliações pré-criadas criadas automaticamente com provisionamento de STDM. Eles são executados em sessões do agente sem configuração adicional do cliente.

Pontadores padrão atuais

• Pontuação de cancelamento – Indica se o cliente encerrou a sessão antes de o agente resolver o problema.
• Ponto de desvio – Indica se o agente desviou com êxito uma interação de exigir escalonamento humano.
• Pontuação de qualidade – Mede a qualidade geral da sessão com base em critérios predefinidos do Salesforce.

Os poncionadores padrão usam um local reservado na interface do usuário e são separados da lista de poncionadores personalizados.

Importante

Você não pode editar um marcador padrão diretamente. Clone-o para criar uma nova versão personalizada com lógica modificada.

Poncionadores personalizados

Os poncionadores personalizados permitem definir a lógica de avaliação e aplicá-la a sessões. Eles usam uma abordagem de LLM-as-a-judge (avaliação baseada em prompt) ou lógica baseada em expressão para rotular, pontuar ou classificar sessões com base em seus critérios.

Nota

Você cria poncionadores personalizados no Next Gen Testing (NGT) no Agentforce Studio. Consulte Configurar e executar testes no Agentforce Studio (beta). Para obter mais informações, consulte Teste da próxima geração no Slack.

Os poncionadores personalizados são executados em sessões e detectam pontuações e dimensões personalizadas em Observabilidade.

Como os poncionadores personalizados funcionam

Um pontor personalizado é apoiado por um modelo de prompt que é executado automaticamente como um trabalho em lote quando a sessão termina. Depois que um pontor é executado em uma sessão, a sessão é associada a esse pontor e os rótulos e as pontuações aparecem em Otimização e análise.

• Um pontor é um modelo de prompt que é executado em uma porcentagem configurável de sessões (taxa de amostra).
• As pontuações são aplicadas no fim da sessão, não durante a conversa ativa. As sessões devem receber um carimbo de data e hora de término para que a ação de dados de pontuação seja acionada.
• Os resultados aparecem em Capacidade de observação como medidas personalizadas.
• Você também pode acionar os marcadores manualmente usando a ação invocável executeAgentforceScoresJob.
• As pontuações não afetam a latência ou o desempenho do agente durante conversas ao vivo, pois a pontuação é executada após o fim da sessão.

Configuração do poncionador

Campos chave

Regras de validação

• O scorerApiName não deve já existir.
• Os promptTemplateRef devem existir e estar ativos.
• Para tipo de dados de Texto: valores de pontuação devem existir; exatamente um valor deve ter isFallback: true; exatamente um deve ter isSystemFallback: true (apenas quando isFallback também é verdadeiro).
• Para tipo de dados numérico: nenhum valor de fallback; os valores devem ser analisados como duplos válidos. Se você usar valuesSpecification: step deve ser maior que 0; min deve ser menor que max; threshold é opcional, mas deve estar entre min e max.
• Número máximo de valores de poncionador: 101.

Tipo de saída

• Texto (Rótulos) — O marcador atribui um de um conjunto de rótulos de string predefinidos a cada sessão (por exemplo, Resolved, Abandoned ou Escalated). Use para classificação categórica.
• Numérico – o marcador retorna um número em um intervalo definido (por exemplo, 0–5). Adequado para classificações de qualidade e pontuações contínuas. Os LLMs geralmente apresentam um melhor desempenho em escalas separadas (como 0 a 5) do que em intervalos estreitos de 0 a 1.
• Booleano (estender ou futuro) — Retorna verdadeiro ou falso. Suportado para poncionadores baseados em expressão.

Executar poncionadores em produção

Ativar da guia Poncionador

Depois de criar e testar um marcador personalizado, ative-o no Hub de pontuação na Otimização do Agentforce. A ativação permite que o pontor seja executado em sessões ao vivo com a taxa de amostra configurada.

Executado do Salesforce Flow

Fornecemos uma nova ação invocável, TriggerAgentBulkScoring, para executar poncionadores personalizados de modo assíncrono em sessões históricas. Essa ação aceita várias sessões e poncionadores e está acessível por meio de:

• Fluxo do Salesforce
• API REST
• Apex

Nome da ação: TriggerAgentBulkScoring

Notas importantes

• Todos os IDs e scorerApiNames da sessão devem pertencer ao mesmo agente.
• Certifique-se de que a versão do pontor esteja Disponível antes da execução.

API REST

Envie uma solicitação POST para o ponto de extremidade REST da ação padrão.

/services/data/v66.0/actions/standard/trigger

Exemplo de carga útil:

{
  "inputs": [
    {
      "inputIds": ["019c9442-b760-7d62-837c-8ab80ecc0fc2"],
      "inputScope": "Session",
      "scorerApiNames": ["language_classifier"]
    }
  ]
}

Use a ação invocável executeAgentforceScoresJob no Fluxo. A ação aceita uma lista de IDs e poncionadores da sessão e envia um trabalho ao pipeline de avaliação. Os usos comuns incluem:

• Executar poncionadores em sessões históricas
• Análise em lote e relatórios personalizados
• Integração com Agentforce Grid

API de metadados

Crie e gerencie poncionadores personalizados com a API de metadados do Salesforce para que você possa implementar poncionadores em fluxos de trabalho de código profissional e DevOps, incluindo pipelines de CI/CD.

Casos de uso