Вы находитесь здесь:
Создание и тестирование инструментов наблюдения
Инструменты создания и тестирования позволяют наблюдать за поведением агента во время разработки до появления производственного трафика. Тестирование в Agentforce Builder позволяет быстро итерировать отдельные разговоры, в то время как центр тестирования автоматизирует тестирование в масштабе.
Требуемые версии
| Доступно в версиях: Lightning Experience |
| Доступно в версиях: Enterprise Edition, Performance Edition, Unlimited Edition и Developer Edition. Требуемые дополнительные лицензии определяются типом агента. |
Инструменты Build & Test позволяют наблюдать за поведением агента во время разработки до появления производственного трафика. Тестирование в конструкторе позволяет быстро итерировать отдельные разговоры, а центр тестирования автоматизирует тестирование в масштабе и в диапазоне вводных данных.
Agentforce Builder
Agentforce Builder — это область разработки и повторения агента до его готовности к более широкому тестированию или развертыванию. Предварительный просмотр позволяет выполнять тестовые разговоры в режиме реального времени и точно наблюдать за реакцией агента. Предварительный просмотр разговоров можно выполнить в режиме имитации или оперативного тестирования:
- Имитация базового диалогового поведения агента без записи или изменения данных. Используйте это для проверки быстрых поправок, не касаясь оперативных записей.
- Live Test выполняет действия по сравнению с реальными данными из конца в конец. Рекомендуем использовать данную функцию для подтверждения корректного запуска действий и обновления записей. Данный режим предоставляет наиболее полное представление о фактическом поведении агента.
Для каждого предварительного просмотра разговора конструктор предоставляет несколько инструментов для исследования произошедшего. Результаты сеансового уровня и немедленные, включительно с маршрутизацией субагента, выполнением действия и качеством ответа для тестируемого разговора. Начните со сводки по взаимодействию, потом углубьтесь по мере необходимости.
Сводка взаимодействий
Исходная точка для любого предварительного просмотра расследования. Доступно для каждого разговорного хода во время разговора — не нужно ждать его завершения. Он предоставляет общий обзор шагов, предпринятых агентом для создания ответа, включая результат каждого. Для получения дополнительных сведений наведите указатель мыши на любой этап. Он также содержит созданное на основе искусственного интеллекта объяснение процесса агента, которое помогает разместить этапы в контексте. Если вы не уверены, что значит результат, Agentforce может объяснить поведение вашего агента, предложить следующие шаги или исправить агента. Если здесь что-то не так, вкладка трассировки будет более подробной.
Вкладка трассировки
Отображает полные данные трассировки для этого этапа, включительно с каждым событием агента, прошедшим временем и техническими сведениями. Детализируйте любое событие агента, чтобы открыть представление JSON полного напоминания LLM агента, включая системные напоминания.
Для предварительного просмотра и тестирования агента в Agentforce Builder см. Agentforce Builder Testing.
Центр тестирования и баллы
Центр тестирования — это место, где формируется предварительная сторона цикла наблюдения. Это место, где вы подтверждаете производительность агента в масштабе до вовлечения клиентов, устанавливаете критерии качества и производительности, с которыми вы будете сравнивать производственные сигналы, и определяете рейтинги, переносимые в Analytics после развертывания, закрывая цикл между сигналами данных до и после развертывания.
В центре тестирования можно протестировать поведение субагента, выполнение действий, извлечение Knowledge, шаблоны напоминаний и настраиваемые критерии, соответствующие вашим требованиям. Результаты тестирования отображают качество ответа, корректность субагента и действия, выполнение инструкций и задержку, все до развертывания, на тестовый случай.
Оценщики
Рейтинги - это критерии оценки, используемые центром тестирования для оценки вывода агента. Многие соотносятся напрямую с показателями, которые будут отслеживаться в Agent Analytics, а настраиваемые конфигурации рейтингов переносятся как производственные КПЭ после развертывания.
| Уровень | Оценщики | Что он оценивает |
|---|---|---|
| По умолчанию | «Определитель ответа», «Утверждение субагента», «Утверждение действия» | Независимо от того, был ли выбран соответствующий подагент, запущено соответствующее действие и ответ был приемлемым. |
| Качество | Полнота, согласованность, лаконичность, задержка, соблюдение инструкций | Насколько хорошим был ответ, а не только то, прошел ли он. Они включают согласованность, полноту, краткость, задержку и соблюдение инструкций в качестве отдельных измерений. |
| Настраиваемый | Критерии развертывания требуют, чтобы стандартные рейтинги не охватывали фирменный голос, точность домена, тон или соответствие сценария использования. | |
| Определенные пользователем метки | Возвращает значение из заданного списка. Используйте для классификации, вывода в числовом стиле или меток соответствия, например, фирменный голосовой переход/сбой, утвержденные категории ответов и прочие. | |
| Пользователь определен как открытый | Возвращает неограниченный вывод, текст, число, URL-адрес. Рекомендуем использовать результаты поиска, которые не могут быть собраны фиксированным списком. | |
| Шаблон напоминания | Согласованность, сжатость, полнота, фактологичность, следование инструкциям, соответствие ответа | Качество вывода для тестовых запусков шаблона, включительно с фактологией, соответствием ответов и стандартными измерениями качества, применяемыми к выводам шаблона. |
Для настройки и выполнения тестов в центре тестирования см. Настройка и выполнение тестов в Agentforce Studio (бета-версия).
