Goleadores y Puntuadores personalizados (Beta)

Dónde aparecen los puntuajes en Optimización y Analytics

• Pruebas de próxima generación: Cree puntuajes personalizados como parte de un conjunto de pruebas nuevo o existente, ajústelo y publíquelo.
• Núcleo de puntuaje (Agentforce Studio): Lugar central para ver, activar y gestionar puntuajeadores.
• Tabla Sesiones e intenciones: Las sesiones muestran resultados de puntuaje; filtre y analice por dimensiones de puntuaje personalizadas.
• Página de sesión: Las sesiones muestran etiquetas y puntuajes de puntuaje asociados.
• Tableros de Analytics: Las mediciones de puntuaje personalizadas aparecen como mediciones para la creación de reportes.

Consideraciones y Limitaciones

• Disponible en Lightning Experience en Enterprise Edition, Performance Edition y Unlimited Edition con Salesforce Foundations o Agentforce 1 Edition donde Optimización de agentes y Analytics están activados.
• Los Puntuajes personalizados están en versión Beta y no requieren licencia adicional más allá de Agentforce.
• Durante la versión Beta, solo se admiten los puntuajes a nivel de sesión.
• Los puntuajes personalizados no son compatibles con los tipos de agentes Agentforce Employee Agent (AEA).
• El tipo de agente de DEG aparece en el Núcleo de puntuaje pero no en el menú desplegable de agente de la interfaz de usuario de optimización.
• Los puntuajes estándar (A&D, Puntuaje de calidad) se crean cuando se aprovisiona STDM. Si faltan, compruebe si hay un problema de aprovisionamiento.
• Debe duplicar un puntuaje estándar antes de modificarlo; la modificación directa no es compatible durante la versión Beta.
• Los puntuajeadores basados en expresiones requieren un tipo de salida Booleano.
• Los puntuajes numéricos en una escala de 0 a 1 no se recomiendan porque los LLM tienen un mal desempeño en intervalos numéricos muy estrechos.
• Las sesiones del Centro de pruebas no se puntúan por puntuajes personalizados. Las sesiones del Centro de pruebas no reciben una marca de tiempo de finalización, de modo que la acción de datos que desencadena la evaluación del puntuaje personalizado nunca se desencadena.

Descripción general

Los puntuadores evalúan sesiones de agentes y generan puntuajes, dimensiones (valores de texto) y mediciones (valores numéricos). Forman parte de Optimización y observabilidad de Agentforce. Se ejecutan automáticamente en un porcentaje configurable de sesiones y afloran resultados en Optimización y Analytics, de modo que los administradores y desarrolladores pueden mejorar el desempeño de los agentes continuamente.

Existen dos tipos de puntuaje:

• Salesforce proporciona puntuadores estándar de forma inmediata.
• Su organización define puntuadores personalizados para evaluar criterios específicos de negocio.

Puntuajes estándar

Los puntuajes estándar son evaluaciones preconstruidas que se crean automáticamente con el aprovisionamiento de STDM. Se ejecutan en sesiones de agentes sin configuración de cliente adicional.

Puntuajes estándar actuales

• Puntuaje de abandono: Indica si el cliente finalizó la sesión prematuramente antes de que el agente resolviera su problema.
• Puntuaje de desviación: Indica si el agente desvió correctamente una interacción de requerir distribución humana.
• Puntuaje de calidad: Mide la calidad general de la sesión basándose en criterios de Salesforce predefinidos.

Los puntuajes estándar utilizan una ubicación reservada en la interfaz de usuario y están separados de la lista de puntuajes personalizados.

Importante

No puede modificar un puntuaje estándar directamente. Duplique para crear una nueva versión personalizada con lógica modificada.

Puntuajes personalizados

Los puntuajes personalizados le permiten definir lógica de evaluación y aplicarla a sesiones. Utilizan un enfoque LLM como juez (evaluación basada en solicitudes) o lógica basada en expresiones para etiquetar, puntuar o clasificar sesiones en función de sus criterios.

Nota

Crea puntuajes personalizados en Pruebas de próxima generación (NGT) en Agentforce Studio. Consulte Configurar y ejecutar pruebas en Agentforce Studio (Beta). Para obtener más información, consulte Pruebas de próxima generación en Slack.

Los puntuajes personalizados se ejecutan en sesiones y afloran puntuajes y dimensiones personalizados en Observabilidad.

Cómo funcionan los puntuajes personalizados

Un puntuaje personalizado está respaldado por una plantilla de solicitud que se ejecuta automáticamente como un trabajo por lotes cuando finaliza la sesión. Después de que un puntuaje se ejecute en una sesión, la sesión se asocia con ese puntuaje, y las etiquetas y los puntuajes aparecen en Optimización y Analytics.

• Un puntuaje es una plantilla de solicitud que se ejecuta en un porcentaje configurable de sesiones (frecuencia de muestreo).
• Los puntuajes se aplican al final de la sesión, no durante la plática en vivo. Las sesiones deben recibir una marca de tiempo de finalización para que se active la acción de datos de puntuaje.
• Los resultados aparecen en Observabilidad como mediciones personalizadas.
• También puede desencadenar puntuajes manualmente utilizando la acción invocable executeAgentforceScoresJob.
• Los puntuajes no afectan a la latencia o el desempeño del agente durante pláticas en vivo porque el puntuaje se ejecuta después de que finalice la sesión.

Configuración de goleador

Campos clave

Reglas de validación

• Los scorerApiName no deben existir aún.
• Las promptTemplateRef deben existir y estar activas.
• Para el tipo de datos Texto: deben existir valores de puntuaje; exactamente un valor debe tener isFallback: true; exactamente uno debe tener isSystemFallback: true (solo cuando isFallback también es verdadero).
• Para el tipo de datos Numérico: sin valores de reserva; los valores deben analizarse como duplicados válidos. Si utiliza valuesSpecification: step debe ser superior a 0; min debe ser inferior a max; threshold es opcional pero debe estar entre min y max.
• Número máximo de valores de puntuaje: 101.

Tipos de salida

• Texto (etiquetas): El puntuaje asigna una de un conjunto de etiquetas de cadena predefinidas a cada sesión (por ejemplo, Resuelto, Abandonado o Distribuido). Utilizar para clasificación categórica.
• Numérico: El puntuaje devuelve un número en un intervalo definido (por ejemplo, 0 a 5). Adecuado para puntuajes de calidad y puntuajes continuos. Los LLM normalmente tienen un mejor desempeño en escalas discretas (como 0 a 5) que en intervalos estrechos de 0 a 1.
• Booleano (estirado o futuro): Devuelve verdadero o falso. Admitido para puntuajes basados en expresiones.

Ejecutar puntuajes en producción

Activar desde ficha Goleador

Después de crear y probar un puntuaje personalizado, actívelo desde el Núcleo de puntuaje en Optimización Agentforce. La activación permite al puntuador ejecutarse en sesiones en vivo con la frecuencia de muestreo configurada.

Ejecutar desde Salesforce Flow

Proporcionamos una nueva acción invocable, TriggerAgentBulkScoring, para ejecutar puntuajes personalizados de forma asíncrona en sesiones históricas. Esta acción acepta múltiples sesiones y puntuajes y es accesible a través de:

• Salesforce Flow
• API de REST
• Apex

Nombre de acción: TriggerAgentBulkScoring

Notas importantes

• Todos los Id. y scorerApiNames de sesión deben pertenecer al mismo agente.
• Asegúrese de que la versión del puntuaje está Disponible antes de la ejecución.

API DE REST

Envíe una solicitud POST al extremo REST de acción estándar.

/services/data/v66.0/actions/standard/triggerAgentBulkScoring

Carga de ejemplo:

{
  "inputs": [
    {
      "inputIds": ["019c9442-b760-7d62-837c-8ab80ecc0fc2"],
      "inputScope": "Session",
      "scorerApiNames": ["language_classifier"]
    }
  ]
}

Utilice la acción invocable executeAgentforceScoresJob en Flujo. La acción acepta una lista de puntuajes e Id. de sesión y envía un trabajo a las oportunidades en curso de evaluación. Los usos comunes incluyen:

• Ejecución de puntuajes en sesiones históricas
• Análisis por lotes y creación de reportes personalizados
• Integración con Agentforce Grid

API de metadatos

Cree y gestione puntuajes personalizados con la API de metadatos de Salesforce de modo que pueda implementar puntuajes en flujos de trabajo de DevOps y pro-código, incluyendo oportunidades en curso de CI/CD.

Casos de uso