Вы находитесь здесь:
Понимание КПЭ и инструментов наблюдаемости Agentforce
Наблюдаемость - это не один инструмент. Это многоуровневая цепочка инструментов, содержащая инфраструктуру, собирающую действия агента, инструменты разработки для тестирования предварительного развертывания агента и инструменты мониторинга, которые отображают тренды и сведения на уровне сеанса после развертывания.
Требуемые версии
| Доступно в версиях: Lightning Experience |
| Доступно в версиях: Enterprise Edition, Performance Edition, Unlimited Edition и Developer Edition. Требуемые дополнительные лицензии определяются типом агента. |
Знание того, какой слой что делает, что удерживает агента от создания в производственной среде. Данная статья соотносит полную цепочку инструментов, и каждый раздел ссылается на дополнительные сведения.
Инфраструктура
Прежде чем любой инструмент наблюдения отобразит или обработает данные, им нужна базовая инфраструктура телеметрии агента. Включите эти инструменты, чтобы остальная цепочка инструментов имела данные для работы.
| Инструмент | Где отображается | Описание |
|---|---|---|
| Отслеживание сеансов Agentforce | Настройка → Agentforce → Отслеживание сеансов Agentforce | Собирает каждый ход, этап рассуждения, действие и сообщение для каждого сеанса агента. Данный параметр должен быть включен до того, как любой другой инструмент наблюдения будет иметь данные. |
| Отслеживание платформы Agent Platform | Настройка → Быстрый поиск → Генеративный искусственный интеллект Einstein → Настройка аудита, аналитики и мониторинга Einstein → Переключатель отслеживания платформы Agent | Сбор телеметрии уровня обслуживания в механизме рассуждения Atlas, Apex, потоках, Конструкторе подсказок, вызываемых действиях, шлюзе искусственного интеллекта, шлюзе LLM и DC Query Federator. |
| Аудит и отзывы | Настройка → Быстрый поиск → Аудит Einstein → Настройка аудита, аналитики и мониторинга Einstein | Сбор вводов/выводов LLM, данных качества извлечения, оценок Trust, выходов ограждения и сигналов отзывов пользователей. Повышает рейтинги качества и Trust к Agent Analytics. |
| Данные и показатели качества Knowledge/RAG | Настройка → Быстрый поиск → Аудит Einstein → Настройка аудита, аналитики и мониторинга Einstein → Данные и показатели качества Knowledge/RAG | Качество извлечения оценок, например, «Верность ответа», «Релевантность ответа», «Релевантность контекста», обработанное посредством ожидаемых продаж аудита и отзывов. Полномочие показателей извлечения в показателях качества. |
| Trust Layer | Настройка → Быстрый поиск → Einstein → Einstein Trust Layer | Выполнение инструкций по оценкам и токсичность, полученные из результатов шлюза LLM, обработанные посредством ожидаемых продаж аудита и отзывов. Полномочия показателей Trust в Agent Analytics. |
Детализируйте каждый из этих инструментов в Agentforce Observability Infrastructure.
Создание и тестирование
Инструменты Build & Test позволяют наблюдать за поведением агента во время разработки до появления производственного трафика.
| Инструмент | Где отображается | Описание |
|---|---|---|
| Agentforce Builder | Agentforce Studio → Builder | Основное рабочее пространство для повторяющейся разработки и тестирования агентов. Запустите разговоры в режиме имитации без записи данных или в режиме оперативного тестирования реальных данных. |
| Сводка взаимодействий | Agentforce Studio → Конструктор → Панель предварительного просмотра | Отображает выбор субагента, выполнение действия и аргументацию для тестового разговора. Детализируйте любой элемент для пошагового времени и переходов субагента. |
| Центр тестирования | Agentforce Studio → Центр тестирования Agentforce | Пакетная оценка извлечения Knowledge, выбора субагента и действия, а также решения задачи перед развертыванием. Создание и оценка реплик в тестовом пакете посредством стандартных, качественных и настраиваемых рейтингов. Настраиваемые рейтинги появляются после развертывания в Agent Analytics. |
Детализируйте каждый из этих инструментов в разделе «Создание и тестирование инструментов наблюдения».
Наблюдать
После развертывания агента инструменты этапа наблюдения отслеживают тенденции во всех сеансах, чтобы можно было исследовать определенные разговоры и детализировать детали этапа.
| Инструмент | Где отображается | Описание |
|---|---|---|
| Agent Analytics | Agentforce Studio → Наблюдение и оптимизация → Analytics | Агрегирует данные производительности во всех сеансах и отображает тенденции по области результата в панелях мониторинга Tableau Next. Вкладки отличаются по типу агента и охватывают эффективность, использование, качество, здоровье, Trust и Voice. |
| Оптимизация агента | Agentforce Studio → Наблюдение и оптимизация → Оптимизация | Отдельное представление сеанса с фильтрацией по намерению, результату и рейтингу качества. Обработанные сеансы содержат кластеризацию намерений и оценки качества; необработанные сеансы доступны немедленно. |
| Сводка взаимодействий | Agentforce Studio → Наблюдение и оптимизация → Сведения о сеансе оптимизации | Структурированная разбивка выбранного намерения, отображающая запущенные субагенты, запущенные действия, рейтинг качества и аргументацию оценки качества, созданную LLM. |
| След | Agentforce Studio → Наблюдение и оптимизация → Сведения о сеансе оптимизации | Упорядоченная по времени запись каждого этапа обработки с пошаговым временем и текстом ошибки. Доступно немедленно, включая сеансы, продолжающие обработку. |
| Здоровье агента | Agentforce Studio → Предупреждения | Создавайте предупреждения и устанавливайте пороги, чтобы получать уведомления о превышении допустимых уровней активности агента. |
| Отслеживание ограждений агента | Agentforce Studio → Наблюдение и оптимизация | Выделенное представление для тенденций выполнения инструкций и решения задач, отдельно от более широкого представления Analytics. |
| Отслеживание агента с включенным Voice | Вкладка Agentforce в администраторе мультиканала (консоль Service Cloud) | Представление администратора активных голосовых вызовов с транскриптами в реальном времени. |
| Редактор запросов Data 360 | Данные 360 → Запросы | Прямой доступ SQL ко всем четырем базовым слоям данных для настраиваемых агрегаций, присоединений кросс-объектов и анализа, чтобы пользовательский интерфейс продукта не отображался. |
Рассмотрим каждый из этих инструментов в разделе «Инструменты наблюдения фаз».
Инструментальная цепочка работает лучше всего в последовательности. Начните с инфраструктуры, чтобы обеспечить поток данных, используйте Build & Test для обнаружения проблем перед развертыванием и используйте «Наблюдение» для отслеживания производительности и исследования после развертывания.
