Инструменты наблюдения фаз

Agent Analytics

Agent Analytics — это область отслеживания производительности агента в динамике. Он агрегирует данные во всех сеансах и отображает тенденции в наборе панелей мониторинга, поддерживаемых Tableau Next. Это начальная точка для любого вопроса этапа наблюдения. Сперва просмотрите здесь, чтобы понять тенденции, прежде чем перейти к инструментам уровня сеанса.

Важные данные о производительности

Важные данные о производительности - это этап между просмотром тренда и переходом к сеансам. Прежде чем открыть оптимизацию агента, используйте ее для разбивки любого показателя по субагенту, намерению или действию, чтобы точно знать, где искать, а не просматривать сеансы случайным образом

См. Agent Analytics для получения требований и полномочий по настройке.

Оптимизация агента

Когда Analytics отображает схему и вам нужно понять, чем она движет, оптимизация агента - это то, куда вы переходите дальше. Данное действие позволяет просматривать отдельные диалоги между агентом и пользователем, а также фильтровать, просматривать и открывать определенные сеансы для просмотра того, что произошло на самом деле. Два представления:

• Обработанные сеансы — намерение извлечено, кластеризовано и оценено качество. Доступно через 4-5 часов после закрытия сеанса. Столбцы таблицы: Код сеанса, отметка времени, продолжительность, результат, настраиваемые метки рейтингов, сводка намерения, сводка ответа, запущенные субагенты, запущенные действия, тег намерения, оценка качества.
• Необработанные сеансы — активные, недавние или все еще обрабатываемые. Вкладка трассировки доступна немедленно — не нужно ждать начала отладки обработки намерений.

Кластеризация намерений - это то, что отличает обнаружение схемы от проверки каждого сеанса. Конвейеры кластеризации выполняются еженедельно и группируют похожие намерения по семантическому сходству, как только тег кластера набирает 10 или более совпадающих намерений. После формирования кластеров можно отфильтровать по кластеру для отображения всех сеансов, где пользователи задавали одинаковые вопросы разными способами — самый быстрый путь к определению систематических схем сбоев, а не к просмотру сеансов один за другим.

КПЭ появились: Области результатов «Влияние агента» и «Эффективность агента» — результат сеанса, рейтинг качества и схемы намерений.

Чего он не может сделать: Сводные показатели по сеансам (используйте Analytics); сеансы по электронной почте в режиме реального времени не отображаются немедленно.

Он отображает результат сеанса, оценку качества и схемы намерений. См. Оптимизация агента для получения текущих столбцов сеанса и фильтров.

Вкладка сводки по взаимодействию

При открытии сеанса в оптимизации агента и выборе намерения вкладка «Сводка взаимодействия» предоставляет структурированную разбивку событий для этого намерения:

• Имя агента, средняя задержка агента (мс), общее количество взаимодействий, продолжительность намерения
• Темы (субагенты) запущены, действия запущены
• Тег намерения, оценка качества (высокий/средний/низкий)
• Рассуждения по рейтингу качества — созданное LLM объяснение причины назначения рейтинга качества

Рассуждения о качестве оценки - это то, что преобразует оценку в направление. Для низкого качества поле аргументации часто напрямую сообщает вам, что обнаружил оценщик — неправильный субагент, неполный ответ, пропущенная инструкция, ошибка извлечения — на естественном языке. Это самый быстрый путь от «качество низкое» к «вот что исследовать», прежде чем открыть вкладку «Трассировка».

Он недоступен до завершения обработки намерений (через 4-5 часов после сеанса). Для немедленной отладки начните с вкладки «Трассировка».

Вкладка трассировки

Вкладка «Трассировка», также доступная из сеанса в оптимизации агента, предоставляет упорядоченную по времени запись каждого этапа обработки — идентификации субагента, выбора действия, маршрутизации, обновлений переменной, извлечения и создания ответа. Каждый этап отображает индикатор статуса и время, а вложенные этапы можно развернуть для делегирования субагента.

Вкладка «Трассировка» является основным инструментом анализа первопричин. Каждый второй инструмент сообщает, что, например, перемещаемый показатель, падение оценки качества или неудачный сеанс. Вкладка «Трассировка» сообщает о том, где и почему, включая неудачный этап, что было сообщение об ошибке, где было потрачено время и что возвратило извлечение.

Типы этапов: обработка намерений, маршрутизация подагентов, фильтры, извлечения, обновления переменных и выполнение действий. Каждый этап содержит отметки времени начала и окончания и ErrorMessageText. В развертываниях с несколькими агентами (SOMA) разверните любой этап, на котором был вызван подагент для детального изучения вложенных этапов.

Работа с ошибками: Запросите ErrorMessageText в AiAgentInteractionStepDmo__dlm посредством SOQL и отфильтруйте значения часовых (NOT_SET, None, пустая строка), чтобы изолировать реальные ошибки.

КПЭ появились: Задержка на уровне этапа области результата «Работа агента», расположение ошибки и последовательность выполнения.

Доступно немедленно, даже для необработанных сеансов. Не ждите обработки намерений, если вам нужно выполнить отладку прямо сейчас.

Мониторинг состояния агента

Мониторинг состояния агента обнаруживает скрытые ошибки агента, например, всплеск ошибок, высокую задержку или падение уровня ответов, и уведомляет вас в близком к реальному режиме времени, прежде чем они усугубят влияние на клиента. Там, где Agent Analytics отображает тенденции в динамике, мониторинг состояния создан для быстрого реагирования: установите пороговые значения для показателей, важных для развертывания, получайте уведомления при их нарушении и детально изучите трассировки сеансов, чтобы найти причину.

Эти показатели также визуализируются во вложенной вкладке «Здоровье» Agent Analytics.

Предупреждения

Каждое предупреждение отслеживает один показатель для одного агента. Система оценивает предупреждения каждую минуту относительно предыдущих 15 минут данных и отправляет электронное уведомление при нарушении порога. После запуска уведомления одно и то же предупреждение приостанавливается на 30 минут, прежде чем оно сможет уведомить повторно.

Уведомления напрямую связывают предупреждение с сеансами, которые его запустили. Каждое уведомление отображает затронутый сеанс, поэтому можно перейти сразу к трассировке без поиска. См. раздел «Отслеживание работоспособности агента» для получения требований и полномочий по настройке.

Мониторинг ограждений агента

«Ограждения агента мониторинга» предоставляет сфокусированное представление о соблюдении инструкций и решении задач — результаты слоя Trust появились как выделенные показатели мониторинга, отдельно от более широкого представления Analytics. Для развертываний, где соответствие ограждениям является отслеживаемым требованием — регулируемые отрасли, внедрение корпоративной политики, безопасность фирменного стиля, — это дает вам тенденции выполнения инструкций и решения задач в одном месте, отдельно от сигналов производительности и качества.

КПЭ появились: Область результата «Работа агента» — выполнение инструкций и решение задач.

См. «Отслеживание поручней агента» для получения текущих показателей.

Мониторинг агента с поддержкой Voice

Для голосовых развертываний администраторы могут отслеживать активные вызовы в режиме реального времени во вкладке Agentforce в администраторе мультиканала (консоль Service Cloud). Это отличается от вкладки Voice в Analytics, которая отображает архивные сводные данные — администратор мультиканала для просмотра оперативных действий, а не просмотра прошлых сеансов.

Вкладка Agentforce в администраторе мультиканала отображает список агентов по активным вызовам и транскриптам оперативных вызовов. Доступ к нему осуществляется посредством консоли Service Cloud, а не Agentforce Studio.

КПЭ появились: Область результата «Здоровье агента» — статус оперативного вызова и транскрипт, в реальном времени не архивный. См. «Отслеживание агента с поддержкой Voice» для настройки и конфигурации администратора.

Редактор запросов и отчеты Data 360

Для вопросов, на которые пользовательский интерфейс продукта не отвечает, редактор запросов Data 360 предоставляет прямой доступ SQL к основным данным. Запрос с использованием DMO — смысловой точки входа в данные — во всех четырех уровнях: STDM, Audit & Feedback, RAG Quality и Agent Optimizer.

Вы также можете создать отчеты в Data 360, которые извлекают актуальные сведения из применимых DMO. Дополнительные сведения, включая обязательные полномочия, см. в разделе «Отчеты и панели мониторинга Data 360».

DMO модели данных отслеживания сеансов (STDM):

• AiAgentSessionDmo — факты уровня сеанса: тип канала, тип окончания сеанса, связанные коды сеансов голосовой связи/службы сообщений
• AiAgentSessionParticipantDmo — кто присоединился: имя контакта, интереса, пользователя, API агента
• AiAgentInteractionDmo — один ход; содержит TopicApiName (какой субагент его обработал)
• AiAgentInteractionStepDmo — один дискретный этап с отметками времени начала и окончания и ErrorMessageText
• AiAgentInteractionMessageDmo — фактический текст ввода/вывода

DMO проверки и отзывов:

• GenAiGatewayRequest — напоминание и контекст, отправленные в LLM
• GenAiGatewayResponse — ответ LLM
• GenAiResponseGeneration — метаданные уровня поколения
• GenAiFeedback — сигналы обратной связи пользователя
• GenAiContentQuality — оценки качества
• GenAiContentQualityCategory — классификации категорий содержимого

Качество RAG:

• AIRetrieverRequest (DLO) — запрос извлечения, отправленный в источник Knowledge
• AIRetrieverResponse (DLO) — возвращенный извлеченный контекст
• AIRetrieverQualityMetric (DMO) — Рейтинги верности ответа, релевантности ответа и релевантности контекста

Для получения сведений об объектах Agent Optimizer см. Модель данных Agent Optimization.

КПЭ появились: Все области результата — любой КПЭ, производный из исходных данных на всех четырех уровнях инфраструктуры.

Следующим шагом будет подключение их к поверхностям. Вы определили, как выглядит успех агента, и знаете, как может появиться цепочка инструментов. Теперь работа создает план, который соотносит области результатов с соответствующими сигналами, а правильные сигналы с соответствующими инструментами. Этот план и превращает наблюдаемость из набора функций в повторяемую практику.