Obtener perspectivas de datos y mediciones de calidad Knowledge / RAG
Para analizar datos y mediciones de calidad de Knowledge / RAG, puede utilizar tableros y reportes preconstruidos, o puede Build Your Own. También puede ejecutar consultas en los DMO.
Ediciones necesarias
| Disponible en: Lightning Experience |
| Disponible en: Enterprise Edition, Performance Edition, Unlimited Edition y Developer Edition. Las licencias complementarias requeridas varían por tipo de agente. |
| Permisos de usuario necesarios | |
|---|---|
| Para ver y acceder a reportes y tableros | Usuario de Data Cloud |
Para acceder a tableros y reportes predefinidos, asegúrese de que tiene permisos Usuario de Data Cloud. Consulte Crear usuarios de Data Cloud y asignar permisos.
Utilizar Agent Analytics
Monitoree los puntuajes de calidad en Agent Analytics.
Utilice Agent Analytics para ver datos para Puntuaje de fidelidad de respuesta medio, Puntuaje de relevancia de respuesta medio y Puntuaje de relevancia de contexto medio. Para obtener más información, consulte Agent Analytics.
Utilizar el tablero integrado
Monitoree puntuajes de calidad en el tablero integrado para mediciones y datos de calidad de Knowledge / RAG.
- Haga clic en Iniciador de aplicación y, en el campo de búsqueda, ingrese Data Cloud.
- Para ver el tablero, desde Data Cloud, haga clic en Tableros.
- Haga clic en Todas las carpetas bajo CARPETAS.
- En la columna Carpetas, haga clic en un vínculo a la carpeta Knowledge / RAG Quality.
-
Seleccione el tablero Datos y mediciones de calidad de Knowledge / RAG.
Tablero para mediciones y datos de calidad de Knowledge / RAG
Utilizar los reportes integrados
Monitoree los puntuajes de calidad utilizando los reportes integrados para mediciones y datos de calidad de Knowledge / RAG. Puede crear un reporte desde el tablero o seguir estas instrucciones.
- Haga clic en Iniciador de aplicación y, en el campo de búsqueda, ingrese Data Cloud.
- Para ver reportes, desde Data Cloud, haga clic en Reportes.
- Haga clic en Todas las carpetas bajo CARPETAS.
- En la columna Carpetas, haga clic en un vínculo a la carpeta Knowledge / RAG Quality.
-
Seleccione un reporte.
Datos y mediciones de calidad de Report for Knowledge / RAG
Para analizar datos y mediciones de calidad de Knowledge / RAG, también puede crear reportes personalizados en Data 360 que extraen información relevante de los DMO en el modelo de datos para datos y mediciones de calidad de Knowledge / RAG. Para obtener más información, consulte Reportes y tableros de Data 360.
Consultar el modelo de datos
Puede ejecutar consultas ad hoc sobre los DMO en el modelo de datos Datos y mediciones de calidad de Knowledge / RAG.
Redacte consultas ad hoc que extraen información relevante de los DMO en el Modelo de datos para datos y mediciones de calidad de Knowledge / RAG. Para obtener más información, consulte Consultar datos en Data 360.
Esta es una consulta de ejemplo:
SELECT "AgentGeneratedResponseText__c",
"AiGatewayRequestId__c",
"AiResponseGenerationId__c",
"AiRetrieverRequestId__c",
"AnswerRelevancyScoreNumber__c",
"ContextPrecisionScoreNumber__c",
"CreatedById__c",
"CreatedDate__c",
"DataSourceObject__c",
"DataSource__c",
"ExternalRecordId__c",
"ExternalSourceId__c",
"FaithfulnessRelevancyScoreNumber__c",
"InternalOrganization__c",
"KQ_id__c",
"LastModifiedById__c",
"LastModifiedDate__c",
"LastProcessedReqTimestamp__c",
"RetrievedContextIdListText__c",
"RetrieverApiName__c",
"RetrieverTraceId__c",
"RetrieverTraceSpanId__c",
"SourceDocumentIdListText__c",
"SystemModstamp__c",
"UserUtteranceText__c",
"cdp_sys_PartitionDate__c",
"cdp_sys_SourceVersion__c",
"id__c",
"metricCreatedTimestamp__c",
"orgId__c"
FROM "AiRetrieverQualityMetric__dll"
LIMIT 10Unir datos de calidad de Knowledge / RAG con datos de rastreo de sesiones Agentforce
Estos ejemplos muestran cómo unir datos de Knowledge / RAG Quality con datos en el modelo de datos de rastreo de sesiones (STDM).
Ejemplo con el editor de consultas
SELECT * FROM "ssot__AiAgentInteraction__dlm"
INNER JOIN "ssot__AiRetrieverQualityMetric__dlm" ON "ssot__AiAgentInteraction__dlm"."ssot__attributetext__c" LIKE CONCAT('%',"ssot__AiRetrieverQualityMetric__dlm"."ssot__RetrieverTraceId__c",'%') AND "ssot__AiAgentInteractionType__c"='TURN'
INNER JOIN "ssot__AiAgentInteractionMessage__dlm" ON "ssot__AiAgentInteractionMessage__dlm"."ssot__AiAgentInteractionId__c" = "ssot__AiAgentInteraction__dlm"."ssot__Id__c" AND "ssot__AiAgentInteractionMessageType__c"='Input'
INNER JOIN "ssot__AiAgentSessionParticipant__dlm" ON "ssot__AiAgentSessionParticipant__dlm"."ssot__Id__c" = "ssot__AiAgentInteractionMessage__dlm"."ssot__AiAgentSessionParticipantId__c" AND "ssot__AiAgentSessionParticipantRole__c"='USER'
INNER JOIN "ssot__AiAgentInteractionStep__dlm" ON
"ssot__AiAgentInteractionStep__dlm"."ssot__AiAgentInteractionId__c"="ssot__AiAgentInteraction__dlm"."ssot__Id__c" AND "ssot__AiAgentInteractionStepType__c"='ACTION_STEP'Ejemplo de uso del modelo de datos semántico (SDM) de Data 360
SELECT * FROM "ssot__AiAgentInteraction__dlm"
JOIN "ssot__AiRetrieverQualityMetric__dlm" ON "ssot__TelemetryTraceId__c"="ssot__RetrieverTraceId__c"Crear reportes de Data 360
Para analizar datos y mediciones de calidad de Knowledge / RAG, cree reportes en Data 360 que extraen información relevante del DMO de AiRetrieverQualityMetric. Puede utilizar perspectivas calculadas para crear mediciones que pueden desencadenar alertas. Para obtener más información, consulte Reportes y tableros Data 360.
