Goleadores y goleadores personalizados (Beta)

Dónde aparecen los puntuadores en Optimización y Analytics

• Pruebas de próxima generación: Cree puntuaciones personalizadas como parte de un conjunto de pruebas nuevo o existente, refínalo y publíquelo.
• Scorer Hub (Agenciaforce Studio): Lugar central para ver, activar y gestionar puntuadores.
• Tabla Sesiones e intenciones: Las sesiones muestran resultados de puntuaciones; filtre y analice por dimensiones de puntuaciones personalizadas.
• Página de sesión: Las sesiones muestran puntuaciones y etiquetas de puntuador asociadas.
• Paneles de Analytics: Las mediciones de puntuación personalizadas aparecen como mediciones para la creación de informes.

Consideraciones y Limitaciones

• Disponible en Lightning Experience en Enterprise Edition, Performance Edition y Unlimited Edition con Salesforce Foundations o Agentforce 1 Edition donde Optimización de agentes y Analytics están activados.
• Los Puntuadores personalizados están en versión Beta y no requieren licencia adicional más allá de Agentforce.
• Durante la versión beta, solo se admiten los puntuadores a nivel de sesión.
• Los puntuadores personalizados no son compatibles con los tipos de agentes Agentforce Employee Agent (AEA).
• El tipo de agente de SDR aparece en el Núcleo de puntuación pero no en el menú desplegable de agentes de la interfaz de usuario de Optimización.
• Los puntuadores estándar (A&D, Puntuación de calidad) se crean cuando se aprovisiona STDM. Si faltan, compruebe si hay un problema de aprovisionamiento.
• Debe duplicar un puntuador estándar antes de modificarlo; la modificación directa no es compatible durante la versión Beta.
• Los puntuadores basados en expresiones requieren un tipo de salida booleano.
• Los puntuadores numéricos en una escala de 0-1 no se recomiendan porque los LLM tienen un mal rendimiento en intervalos numéricos muy estrechos.
• Las sesiones del Centro de pruebas no se puntúan por puntuadores personalizados. Las sesiones del Centro de pruebas no reciben una marca de tiempo de finalización, de modo que la acción de datos que desencadena la evaluación de puntuador personalizado nunca se activa.

Descripción general

Los puntuadores evalúan sesiones de agentes y generan puntuaciones, dimensiones (valores de texto) y mediciones (valores numéricos). Forman parte de Optimización y observabilidad de Agentforce. Se ejecutan automáticamente en un porcentaje configurable de sesiones y afloran resultados en Optimización y Analytics, de modo que los administradores y desarrolladores pueden mejorar el rendimiento de los agentes de forma continua.

Existen dos tipos de puntuadores:

• Salesforce proporciona puntuadores estándar de forma inmediata.
• Su organización define puntuadores personalizados para evaluar criterios específicos del negocio.

Puntuadores estándar

Los puntuadores estándar son evaluaciones preconstruidas que se crean automáticamente con el aprovisionamiento de STDM. Se ejecutan en sesiones de agentes sin configuración de cliente adicional.

Puntuadores estándar actuales

• Puntuación de abandono: Indica si el cliente finalizó la sesión prematuramente antes de que el agente resolviera su problema.
• Puntuación de desviación: Indica si el agente desvió correctamente una interacción de requerir distribución humana.
• Puntuación de calidad: Mide la calidad general de la sesión basándose en criterios predefinidos de Salesforce.

Los puntuadores estándar utilizan una ubicación reservada en la interfaz de usuario y están separados de la lista de puntuadores personalizados.

Importante

No puede modificar un puntuador estándar directamente. Duplique para crear una nueva versión personalizada con lógica modificada.

Puntuadores personalizados

Los puntuadores personalizados le permiten definir lógica de evaluación y aplicarla a sesiones. Utilizan un enfoque LLM como juez (evaluación basada en solicitudes) o lógica basada en expresiones para etiquetar, puntuar o clasificar sesiones en función de sus criterios.

Nota

Crea puntuaciones personalizadas en Pruebas de próxima generación (NGT) en Agentforce Studio. Consulte Configurar y ejecutar pruebas en Agentforce Studio (Beta). Para obtener más información, consulte Pruebas de próxima generación en Slack.

Los puntuadores personalizados se ejecutan en sesiones y afloran puntuaciones y dimensiones personalizadas en Observabilidad.

Cómo funcionan los Puntuadores personalizados

Un puntuador personalizado está respaldado por una plantilla de solicitud que se ejecuta automáticamente como un trabajo por lotes cuando finaliza la sesión. Después de que un puntuador se ejecute en una sesión, la sesión se asocia con ese puntuador, y las etiquetas y puntuaciones aparecen en Optimización y Analytics.

• Un puntuador es una plantilla de solicitud que se ejecuta en un porcentaje configurable de sesiones (frecuencia de muestra).
• Las puntuaciones se aplican al final de la sesión, no durante la conversación en vivo. Las sesiones deben recibir una marca de tiempo de finalización para que se active la acción de datos de puntuación.
• Los resultados aparecen en Observabilidad como mediciones personalizadas.
• También puede desencadenar puntuadores manualmente utilizando la acción invocable executeAgentforceScoresJob.
• Los puntuadores no afectan a la latencia o el rendimiento del agente durante las conversaciones en vivo porque la puntuación se ejecuta después de que finalice la sesión.

Configuración de goleador

Campos clave

Reglas de validación

• Los scorerApiName no deben existir ya.
• Los promptTemplateRef deben existir y estar activos.
• Para el tipo de datos Texto: valores de puntuación deben existir; exactamente un valor debe tener isFallback: true; exactamente uno debe tener isSystemFallback: true (solo cuando isFallback también es verdadero).
• Para Tipo de datos numéricos: sin valores de reserva; los valores deben analizarse como dobles válidos. Si utiliza valuesSpecification: step debe ser superior a 0; min debe ser inferior a max; threshold es opcional pero debe estar entre min y max.
• Número máximo de valores de puntuación: 101.

Tipos de salida

• Texto (etiquetas): El puntuador asigna una de un conjunto de etiquetas de cadena predefinidas a cada sesión (por ejemplo, Resuelto, Abandonado o Distribuido). Se utiliza para la clasificación categórica.
• Numérico: El puntuador devuelve un número en un intervalo definido (por ejemplo, 0 a 5). Adecuado para puntuaciones de calidad y continuas. Los LLM normalmente tienen un mejor rendimiento en escalas discretas (como 0 a 5) que en intervalos estrechos de 0 a 1.
• Booleano (estirado o futuro): Devuelve verdadero o falso. Compatible con puntuadores basados en expresiones.

Ejecutar marcadores en producción

Activar desde ficha Goleador

Después de crear y probar un puntuador personalizado, actívelo desde el Núcleo de puntuadores en Optimización Agentforce. La activación permite que el puntuador se ejecute en sesiones en vivo con la frecuencia de muestra configurada.

Ejecutar desde Salesforce Flow

Proporcionamos una nueva acción invocable, TriggerAgentBulkScoring, para ejecutar puntuadores personalizados de forma asíncrona en sesiones históricas. Esta acción acepta múltiples sesiones y puntuaciones y es accesible a través de:

• Flujo de Salesforce
• API de REST
• Apex

Nombre acción: TriggerAgentBulkScoring

Notas importantes

• Todos los Id. y scorerApiNames de sesión deben pertenecer al mismo agente.
• Asegúrese de que la versión del marcador está Disponible antes de la ejecución.

API DE REST

Envíe una solicitud POST al extremo REST de acción estándar.

/services/data/v66.0/actions/standard/triggerAgentBulkScoring

Carga de ejemplo:

{
  "inputs": [
    {
      "inputIds": ["019c9442-b760-7d62-837c-8ab80ecc0fc2"],
      "inputScope": "Session",
      "scorerApiNames": ["language_classifier"]
    }
  ]
}

Utilice la acción invocable executeAgentforceScoresJob en Flujo. La acción acepta una lista de Id. de sesión y puntuadores y envía un trabajo a las oportunidades en curso de evaluación. Usos comunes incluyen:

• Ejecución de puntuaciones en sesiones históricas
• Análisis por lotes y creación de informes personalizados
• Integración con Agentforce Grid

API de metadatos

Cree y gestione puntuadores personalizados con la API de metadatos de Salesforce de modo que pueda implementar puntuadores en flujos de trabajo de DevOps y pro-código, incluyendo oportunidades en curso de CI/CD.

Casos de uso