Инфраструктура наблюдения Agentforce

Отслеживание сеансов Agentforce

Отслеживание сеансов Agentforce отслеживает уровень активности агента. Он собирает каждый ход агента, этап рассуждения, действие, сообщение и ошибку для каждого сеанса и сохраняет их в структурированных объектах в Data 360. См. Отслеживание сеансов Agentforce.

Модель данных отслеживания сеансов (STDM) содержит пять объектов, упорядоченных в иерархии вложений:

• AiAgentSession — запись верхнего уровня для каждого сеанса. SessionEndType поля, которое соотносится с отклоненными, расширенными и отмененными сеансами.
• AiAgentSessionParticipant — участник сессии: имя API контакта, интереса, пользователя или агента.
• AiAgentInteraction — один поворот в сеансе. TopicApiName поля определяет, какой субагент обработал поворот.
• AiAgentInteractionStep — один отдельный этап в ходе выполнения: вызов инструмента, вызов Apex, вызов потока или вызов LLM.
• AiAgentInteractionMessage — фактический текст ввода/вывода для каждого хода.

Эти объекты отображают вкладки «Эффективность», «Использование» и «Работа» в Agent Analytics, а также список сеансов и «Отслеживание в оптимизации агента». Все пять объектов доступны для прямого запроса посредством редактора запросов Data 360 для настраиваемых агрегаций и присоединений. См. Модель данных для отслеживания сеансов Agentforce для получения полной ссылки на объект.

Отслеживание платформы Agent Platform

Отслеживание платформы Agent Platform распространяет сбор данных на уровень обслуживания, то, что произошло в инфраструктуре Agentforce для выполнения записей отслеживания сеансов решения. Когда отслеживание сеансов сообщает о решении и словах агента, отслеживание платформы Agent Platform сообщает, какая служба выполнялась, как долго и с каким статусом. Он собирает телеметрию уровня обслуживания в механизме рассуждения Atlas, Apex, потоках, Конструкторе подсказок, вызываемых действиях, шлюзе искусственного интеллекта, шлюзе LLM и DC Query Federator. Данные хранятся в одном DMO, отдельно от STDM и присоединяются посредством TelemetryTraceId.

• ssot__TelemetryTraceSpan__dlm — взаимосвязи «родительский — дочерний», продолжительность в наносекундах, имена операций, имена служб и коды статусов.

Вместе это дает распределенную трассировку по всей экосистеме Agentforce. См. Отслеживание платформы Agent.

Аудит и отзывы

Проверка и отзывы отслеживают слой шлюза LLM. Она собирает вводные и выходные данные каждого вызова LLM, включая быстрый текст, текст ответа, оценки Trust, выводы ограждения и сигналы обратной связи пользователя. В то время как отслеживание сеансов сообщает о том, что сделал агент, аудит и отзыв сообщает, был ли ответ LLM точным, безопасным и основанным на источнике Knowledge.

• GenAIGatewayRequest — напоминание и контекст, отправленные в LLM
• GenAIGatewayResponse присоединяется к запросу шлюза к выводу создания
• GenAIGeneration — текст ответа, созданный LLM, включая маскируемые и демаскированные версии, и параметры создания
• GenAIFeedback — это сигналы обратной связи пользователя (например, «большой палец вверх»/«вниз»).
• GenAIContentQuality — является ли ввод/вывод безопасным/небезопасным, включая обнаружение токсичности
• GenAIContentCategory — Результаты детектора Trust Layer по типу: InstructionAdherence, TaskResolution, TOXICITY, PROMPT_DEFENSE

Данные аудита и отзывов отображаются в рейтингах качества, Trust и удовлетворенности пользователей в Agent Analytics, а также в поле рассуждения оценки качества в оптимизации агента. См. Agent Analytics и Настройка аудита и отзывов Einstein Generative AI для получения текущих показателей.

Данные и показатели качества Knowledge/RAG

Данные и показатели качества Knowledge/RAG добавляют оценку качества извлечения в ожидаемые продажи аудита и отзывов. Она собирает, насколько запрос был связан с задачей, насколько верным был ответ на источник retrieved Knowledge и насколько актуальным был источник retrieved Knowledge для запроса.

Ключевые объекты:

• GenAIRetrieverRequest — запрос на извлечение, отправленный в источник знаний
• GenAIRetrieverResponse — возвращенный извлеченный контекст
• GenAIRetrieverQualityMetric — Рейтинги верности ответа, релевантности ответа и контекстной релевантности

Он заполняет показатели качества извлечения в показателях качества в Agent Analytics, что сигнализирует о том, возвращает ли источник Knowledge нужное содержимое, отдельно от качества ответа LLM. Этапы настройки см. в разделе Setup Knowledge/RAG Quality Data and Metrics.

Слой Trust

Trust Layer - это слой оценки соответствия. Он создает оценки выполнения инструкций и токсичности на основе результатов шлюза LLM. Рейтинги Trust Layer хранятся в GenAIContentCategory и GenAIContentQuality, одинаковых объектах из аудита и отзывов.

Он появляется в Trust in Agent Analytics, предоставляя вам доступ к тому, выполняет ли агент его инструкции и находится ли в допустимых границах содержимого. См. Einstein Trust Layer для получения сведений о шагах настройки.

Каждый слой поддерживает отдельную часть цепочки инструментов наблюдения. Чем больше уровней вы включаете, тем полнее представление о поведении агента и тем больше жизненного цикла разработки агента вы можете перемещаться с доказательствами.