Solución de problemas de Recuperación de Knowledge para agentes

Mi agente no devuelve información que existe en Knowledge Store.

Está esperando ver información que está seguro de que existe en Knowledge Store.

• En primer lugar, confirme que la información existe en Knowledge Store. Utilice citas para identificar la información de origen utilizada para generar la respuesta.
• La estrategia de contenido y las deficiencias de calidad son la causa más común de recuperaciones Knowledge insatisfactorias. Realice una auditoría de su establecimiento Knowledge para identificar y solucionar problemas de calidad de contenido asociados con la información solicitada. Busque información incorrecta, obsoleta, duplicada, solapada, contradictoria y difusa. Identifique formas de mejorar la claridad, el enfoque y la organización de la información. Para técnicas de optimización de contenido, comience con estos recursos:
  • Ayuda: Preparar su contenido de origen
  • Trailhead: Fundamentación de un agente con datos
  • Blog de 360: 10 formas de preparar su Knowledge Base para la fundamentación de la IA
• Verifique que el usuario tiene suficientes de permisos para acceder a la información. Para objetos Estándar (incluyendo Artículos Knowledge), el usuario agente necesita permiso para ver los datos. De lo contrario, esos datos se omiten de la respuesta del agente.
• Si está utilizando la búsqueda vectorial, pruebe la búsqueda híbrida y compare resultados de recuperación. La búsqueda híbrida puede ayudar a mejorar sus resultados de búsqueda. Para cada estrategia de búsqueda, utilice Retriever Playground en modelos de IA (anteriormente Einstein Studio) con recuperadores individuales para puntuar respuestas a la misma consulta y luego compararlas.
• Active Registros de eventos mejorados para mostrar más detalles de conversación. Revise la conversación en los registros de eventos mejorados. Examine la solicitud de usuario y el contenido recuperado. ¿Qué tan bien reconoció el agente la intención del usuario? ¿La solicitud de usuario estaba mal formada? ¿Fue demasiado específico (estrecho), demasiado amplio o demasiado ambiguo para encontrar la información correcta? ¿Qué tan bien encontró y recuperó el agente la información que pertenecía a la intención del usuario?
• Para recuperadores individuales, utilice Retriever Playground en modelos de IA para validar recuperaciones en un entorno de prueba con datos de verdad de prueba/tierra. Vea fragmentos recuperados, fragmentos de origen y mediciones de recuperación de origen.
• Utilice datos y mediciones de calidad de Knowledge / RAG para investigar problemas y patrones de calidad de recuperación. Las mediciones pueden guiar sus esfuerzos para centrarse en las áreas que mejor pueden aumentar la precisión y relevancia de las respuestas. Las puntuaciones de precisión de contexto reflejan la calidad de la recuperación. Las puntuaciones de fidelidad y relevancia de respuesta reflejan la precisión y relevancia, respectivamente, de la respuesta generada. Consulte Acerca de datos y mediciones de calidad de Knowledge / RAG.
• Revise la estrategia de abandono en sus índices de búsqueda, lo que puede afectar en gran medida a la calidad de la recuperación.
  • Examine los fragmentos recuperados en la respuesta. ¿Se recuperaron los trozos correctos? ¿Eran los trozos demasiado pequeños o demasiado grandes? ¿Cómo se clasifican los fragmentos? Para índices de búsqueda híbrida, ajuste la configuración del factor de clasificación (consulte Crear un índice de búsqueda híbrida con configuración avanzada).
  • Examine los fragmentos en el índice de búsqueda, como se describe más adelante en este artículo. Para inspeccionar los fragmentos de datos en el índice de búsqueda o para formular preguntas de consulta de lenguaje natural, puede utilizar el Editor de consultas de Data 360 o cualquier herramienta SQL. ¿Está la información relevante dividida entre múltiples fragmentos? ¿Se pierde contexto importante en el abandono?
  • Evalúe y ajuste su estrategia de bloqueo, como cambiar el tamaño del bloqueo o utilizar el bloqueo de secciones. Consulte Estrategias de segmentación, Optimización de índices de búsqueda: Selección de campos y segmentación, e Indización enriquecida de fragmentos de contenido en Data 360 ayudan.
• En Generador de solicitudes (o un flujo), compare los fragmentos recuperados en la solicitud con la respuesta del LLM. ¿Qué falta en la respuesta? Utilice citas para identificar los orígenes que el LLM utilizó para generar la respuesta. ¿Está un fragmento recuperado importante clasificado demasiado bajo? Considere ajustar las instrucciones en la solicitud LLM.

Mi agente devuelve información incorrecta o alucinada.

Está viendo respuestas LLM que contienen información incorrecta de hecho.

• Examine los fragmentos recuperados. ¿Son semánticamente similares pero fácticamente incorrectos? ¿Contienen información obsoleta, contradictoria o incorrecta? ¿No se recuperaron fragmentos más precisos o relevantes? Solucione problemas de calidad de contenido en Knowledge Store. Agregue contexto a fragmentos utilizando campos antepuestos (consulte Optimización de índices de búsqueda: Selección de campos y segmentación) e indexación enriquecida (consulte Indización enriquecida de segmentos de contenido). Aumente el número de resultados de recuperación (fragmentos) devueltos a la solicitud.
• Examine los fragmentos recuperados y el contenido de origen asociado. ¿Se analizó el contenido de origen correctamente? ¿Están los encabezados, párrafos y tablas intactos o dispersos entre fragmentos? Si es lo último, cambie al procesamiento de su contenido con Análisis y preprocesamiento basado en LLM.
• Examine si el LLM derivó la respuesta de fragmentos recuperados o creó la información. Si es esta última, ajuste la solicitud para requerir citas.
• Utilice datos y mediciones de calidad de Knowledge / RAG para investigar problemas y patrones de calidad. Las puntuaciones de fidelidad reflejan la precisión de la respuesta generada.

Mi agente no está respondiendo con información actualizada recientemente.

Verá información antigua, no la información más reciente que sabe que se actualizó recientemente.

• Para grandes establecimientos Knowledge, la creación de un índice de búsqueda puede tardar horas. Compruebe el estado del trabajo del índice de búsqueda y el estado (consulte Ver índice de búsqueda Estado e historial de procesos ). Supervise de forma proactiva los trabajos de indexación para el progreso y el resultado de finalización (Exitoso o Error). Utilice múltiples índices de búsqueda separados por tipo de contenido o dominio.
• Para índices de búsqueda híbridos, seleccione RECENCY como el factor de clasificación y seleccione el campo LastModifiedDate en el Objeto de modelo de datos (DMO). Consulte Crear un índice de búsqueda híbrida con configuración avanzada.
• Compruebe el estado del Artículo de Knowledge en Salesforce. Los artículos archivados a veces siguen indexados, lo que puede dar como resultado información contradictoria, duplicada u obsoleta. Agregue prefiltros al recuperador para asegurarse de que solo se devuelven los artículos activos.
• Compruebe si hay errores en los registros de indexación. Vuelva a construir el índice si la transmisión de datos se estancó.

Mis documentos no se están indexando en absoluto.

Sus documentos no aparecen en el índice de búsqueda.

• Investigue qué documentos faltan en el índice. Examine si los archivos adjuntos para objetos de Salesforce están configurados para introducción (¿se incluye ContentDocument en el origen de datos?). Revise la configuración y los permisos de su fuente de datos y solucione problemas de configuración.
• Compruebe el formato del archivo de documento. Si no es un formato compatible, convierta el documento a un formato de archivo compatible. Consulte los límites de archivos en Data 360.
• Compruebe los permisos de objetos de Salesforce y cambie los permisos si es necesario. Asegúrese de que el usuario agente tiene acceso a los objetos y Knowledge requeridos. Compruebe los filtros de categoría de datos y ajuste los filtros según sea necesario.
• Determine si se indexaron todos los registros de DMO o si falló la actualización incremental de un índice de búsqueda. Compare los resultados del recuento de registros utilizando una consulta similar al siguiente ejemplo:

  SELECT 'INDEX' AS Location, COUNT(DISTINCT rc.SourceRecordId__c) AS ArticleCount, now() AS Timestamp 
  FROM
  <chunk DMO of the Search Index> rc
  UNION
  SELECT 'DMO' AS Location, COUNT(DISTINCT  kav.Id__c)  AS ArticleCount, now() AS Timestamp 
  FROM <DMO that was indexed, e.g. Knowledge Article Version> kav
  ORDER BY Location;

Los datos de tabla no se están extrayendo correctamente.

Verá errores en los datos extraídos.

• Para evitar errores de detección horizontal frente a vertical, cambie al procesamiento y extracción de su contenido utilizando el analizador Docling (consulte el blog: Convierta los datos ocultos en perspectivas preparadas para la IA: Cómo cosecha el analizador Docling el valor de información no estructurada). Para otras opciones de análisis, consulte Análisis y preprocesamiento basados en LLM.
• Examine los fragmentos y determine si la información de tabla está intacta o dispersa entre múltiples fragmentos. Si es lo último, aumente el tamaño del fragmento o implemente una estrategia de bloqueo consciente de la sección.

Las consultas en varios idiomas no funcionan.

Obtendrá malas respuestas de agentes a consultas de usuarios enviadas en diferentes idiomas. Por ejemplo, su establecimiento Knowledge contiene contenido en español y sus consultas de usuario están en francés e inglés.

• Para soluciones de RAG que implican idiomas que no son inglés, asegúrese de que está utilizando el modelo integrado multilingüe-e5-largo. Este modelo de integración mantiene la similitud semántica entre idiomas. Una consulta en francés puede recuperar artículos relevantes escritos en español. Para obtener los mejores resultados, considere utilizar un único idioma para el contenido en Knowledge Store.
• La búsqueda de palabras clave es menos efectiva en soluciones en varios idiomas. Si las palabras clave están en un idioma diferente al contenido de origen, pruebe si la búsqueda vectorial tiene un mejor rendimiento que la búsqueda híbrida. Para cada estrategia de búsqueda, utilice Retriever Playground en modelos de IA con recuperadores individuales para puntuar respuestas a la misma consulta y luego compararlas.
• Los usuarios esperan que las respuestas estén en el mismo idioma que sus consultas de usuario. Los parámetros configurados pueden afectar a las respuestas. Por ejemplo, las instrucciones en una plantilla de solicitud pueden especificar al LLM generar una respuesta en un idioma específico. Para mejorar los resultados en soluciones en varios idiomas, revise los idiomas admitidos y los parámetros de idioma configurados para agentes, las plantillas de solicitudes y Einstein Trust Layer.
• Las versiones LLM y LLM pueden variar en compatibilidad en varios idiomas. Algunos tienen mejor rendimiento que otros. Para obtener los mejores resultados, pruebe sus solicitudes con diferentes versiones de LLM y LLM.

Otras consideraciones

• Para ayudar con la depuración de su solución con tecnología RAG, active Registros de eventos mejorados para mostrar más detalles de conversación.
• Antes de implementar su solución con tecnología RAG en producción, utilice Retriever Playground en modelos de IA para ayudar a responder a las preguntas importantes de RAG. ¿Existe el documento correcto? ¿Afloraron los fragmentos más relevantes? Utilice recuperadores individuales sin código para probar y mejorar la calidad de sus respuestas. Ajuste la configuración del recuperador, examine resultados intermedios, puntúe la calidad de los resultados de la recuperación y realice ajustes para aumentar la precisión y relevancia de la recuperación.
• Utilice datos y mediciones de calidad de Knowledge / RAG para investigar problemas y patrones de calidad de recuperación. Las mediciones pueden guiar sus esfuerzos para centrarse en las áreas que mejor pueden aumentar la precisión y relevancia de las respuestas. Las puntuaciones de precisión de contexto reflejan la calidad de la recuperación. Las puntuaciones de fidelidad y relevancia de respuesta reflejan la precisión y relevancia, respectivamente, de la respuesta generada. Consulte Acerca de datos y mediciones de calidad de Knowledge / RAG.
• Si está utilizando la búsqueda vectorial, pruebe la búsqueda híbrida y compare resultados de recuperación. Para cada estrategia de búsqueda, utilice Retriever Playground en modelos de IA con recuperadores individuales sin código para puntuar respuestas a la misma consulta y luego compararlas.
• Los filtros pueden centrar las búsquedas en la información más relevante, pero también pueden excluir contenido relevante de la recuperación. Asegúrese de que sus configuraciones de prefiltro en plantillas de solicitud y parámetros de filtro en recuperadores están optimizados para recuperar la cantidad correcta de contenido.
• Ajuste su configuración de apertura en sus índices de búsqueda para optimizar la calidad de la recuperación. Consulte Estrategias de segmentación, Optimización de índices de búsqueda: Selección de campos y segmentación, e Indización enriquecida de fragmentos de contenido en Data 360 ayudan.

Solución de problemas de capas de soluciones

Otra forma de investigar su solución RAG es examinar los resultados de búsqueda y recuperación en diferentes capas de la pila de soluciones.

Paso 1: Investigar la capa de agente

Si soluciona el problema en la capa de agente, no necesita solucionar problemas de componentes RAG. Utilice Agentforce Builder o el Centro de pruebas de Agentforce para investigar y diagnosticar el proceso de razonamiento.

Por ejemplo, determine si el motor de razonamiento Atlas está ejecutando la acción correcta dentro del subagente correcto. Si no se selecciona el subagente correcto o si se selecciona el subagente correcto pero no se ejecuta la acción correcta, el problema se produce probablemente en la configuración del agente de las instrucciones y las descripciones de clasificación. Investigue y solucione las instrucciones del subagente y las instrucciones de acción según proceda.

Para otros problemas relacionados con agentes, consulte Solución de problemas.

Paso 2: Investigar bibliotecas de datos

Si su solución con tecnología RAG incluye Agentforce Data Library, confirme los permisos y compruebe el estado de la biblioteca de datos. Consulte Solución de problemas de Agentforce Data Library.

Paso 3: Investigar el índice de búsqueda y la capa de recuperación

Determine si el índice de búsqueda contiene el contenido que espera.

• Utilice el Retriever Playground en modelos de IA con recuperadores individuales sin código para probar su recuperador e investigar los fragmentos devueltos. Identifique síntomas y patrones y remediarlos en consecuencia.
• En Generador de solicitudes, utilice una plantilla de solicitud con un recuperador integrado para experimentar con diferentes solicitudes. Utilice el modo de vista previa para ver lo que devuelve el recuperador. Busque patrones de errores, omisiones y otras anomalías.
• En el Editor de consultas de Data 360, ejecute consultas en el DMO de índice. Asegúrese de utilizar una declaración LIMIT 10 o similar. Para ejemplos, consulte "Utilizar el editor de consultas de Data 360 para depurar fragmentos" más adelante en este tema.

Paso 4: Investigar la capa de generación

Examine cómo el LLM toma los fragmentos en sus solicitudes fundamentadas y genera una respuesta.

• En Generador de solicitudes, compare los fragmentos recuperados en la solicitud con la respuesta del LLM. ¿Qué es incorrecto, falta o alucina en la respuesta? Utilice citas para identificar los orígenes que el LLM utilizó para generar la respuesta. ¿Está un fragmento recuperado importante clasificado demasiado bajo? Considere ajustar las instrucciones en la solicitud LLM.
• Consulte las recomendaciones en “Mi agente no está devolviendo información que existe en Knowledge Store” anteriormente en este artículo.

Utilizar el editor de consultas de Data 360 para depurar fragmentos

Inspeccione y solucione directamente fragmentos en sus índices de búsqueda con el Editor de consultas.

Buscar fragmentos por registro de origen

Examine todos los fragmentos creados desde un origen específico (como una URL o Artículo Knowledge).

SELECT Chunk__c, ChunkSequenceNumber__c, DataSource__c, DataSourceObject__c, 
    InternalOrganization__c, KQ_RecordId__c, KQ_SourceRecordId__c, 
    RecordId__c, SourceRecordId__c 
FROM <Your_Chunk_DMO>__dlm 
WHERE SourceRecordId__c = '<source_record_id>'

Consultas de búsqueda de vectores de prueba

Examine los fragmentos recuperados para una consulta concreta.

SELECT v.score__c AS Score, c.Chunk__c AS Chunk, 
        c.SourceRecordId__c AS SourceRecordId
FROM vector_search(
  TABLE(<Your_Index>__dlm), 
     'your search query here', 
     '', 
     10
     ) v 
INNER JOIN <Your_Chunk_DMO>__dlm c 
   ON c.RecordId__c = v.RecordId__c
   ORDER BY Score DESC 
LIMIT 10

Probar búsqueda híbrida (vector + palabra clave)

SELECT c.Chunk__c, h.hybrid_score__c, h.keyword_score__c, h.vector_score__c
FROM hybrid_search(
  TABLE(<Your_Index>__dlm),
      'your query here',
      '',
      100
      ) h
JOIN <Your_Chunk_DMO>__dlm c 
   ON h.SourceRecordId__c = c.RecordId__c
ORDER BY h.hybrid_score__c DESC            
LIMIT 10

Creación de fragmentos de depuración

Examine si se crearon fragmentos para contenido específico.

SELECT COUNT(*), SourceRecordId__c
FROM <Your_Chunk_DMO>__dlm
GROUP BY SourceRecordId__c

Buscar fragmentos duplicados

SELECT COUNT(RecordId__c) AS duplicates, SourceRecordId__c, Chunk__c  
FROM <Your_Chunk_DMO>__dlm  
GROUP BY SourceRecordId__c, Chunk__c  HAVING COUNT(RecordId__c) > 1