Оценщики и настраиваемые исполнители (бета-версия)

Область отображения рейтингов в оптимизации и аналитике

• Тестирование Next Gen — Создайте настраиваемые рейтинги как часть нового или существующего пакета тестов, настройте и опубликуйте его.
• Scorer Hub (Agentforce Studio) — центральное место для просмотра, активации и управления рейтингами.
• Таблица «Сеансы и намерения»: сеансы отображают результаты бомбардиров; фильтрация и анализ по настраиваемым измерениям бомбардиров.
• Страница сеанса: сеансы отображают связанные метки и рейтинги бомбардиров.
• Панели мониторинга Analytics: настраиваемые показатели рейтингов отображаются в качестве показателей для отчетов.

Рекомендации и ограничения

• Доступно в Lightning Experience в выпусках Enterprise, Performance и Unlimited с Salesforce Foundations или Agentforce 1, где включены оптимизация агента и Analytics.
• Настраиваемые исполнители находятся в бета-версии и не требуют дополнительной лицензии, кроме Agentforce.
• Во время бета-версии поддерживаются только рейтинги уровня сеанса.
• Настраиваемые бомбардиры не поддерживаются для типов агентов Agentforce Employee Agent (AEA).
• Тип агента SDR отображается в центре оценки, но не в раскрывающемся списке агентов пользовательского интерфейса оптимизации.
• Стандартные рейтинги (A&D, Quality Score) создаются при инициализации STDM. Если они отсутствуют, проверьте наличие проблемы инициализации.
• Прежде чем редактировать стандартный бомбардир, рекомендуем клонировать его; прямое редактирование не поддерживается во время бета-версии.
• Рейтинги на основе выражений требуют логического типа вывода.
• Числовые показатели по шкале 0-1 не рекомендуются, поскольку LLM плохо работают в очень узких числовых диапазонах.
• Сеансы центра тестирования не оцениваются настраиваемыми рейтингами. Сеансы центра тестирования не получают отметку времени окончания, поэтому действие над данными, запускающее настраиваемую оценку рейтингов, не запускается.

Общие сведения

Оценивающие оценивают сеансы агента и создают оценки, измерения (текстовые значения) и меры (числовые значения). Они являются частью Agentforce Optimization and Observability. Они выполняются автоматически относительно настраиваемого процента сеансов и результатов в Optimization и Analytics, поэтому администраторы и разработчики могут постоянно повышать производительность агентов.

Существует два вида бомбардиров:

• Стандартные бомбардиры предоставляются системой Salesforce в готовом виде.
• Настраиваемые рейтинги определяются организацией для оценки бизнес-критериев.

Стандартные показатели

Стандартные рейтинги — это готовые оценки, созданные автоматически посредством инициализации STDM. Они выполняются в сеансах агента без дополнительной конфигурации клиента.

Текущие стандартные показатели

• Рейтинг отказа — указывает, завершил ли клиент сеанс досрочно до решения проблемы агентом.
• Рейтинг отклонения: определяет успешность отклонения взаимодействия агентом от требования человеческой эскалации.
• Рейтинг качества — определяет общее качество сеанса на основе предопределенных критериев Salesforce.

Стандартные бомбардиры используют зарезервированное расположение в пользовательском интерфейсе и отделены от настраиваемого списка бомбардиров.

Важно!

Невозможно редактировать стандартного бомбардира напрямую. Клонируйте его, чтобы создать новую настраиваемую версию с измененной логикой.

Настраиваемые показатели

Настраиваемые рейтинги позволяют определить логику оценки и применить ее к сеансам. Они используют метод LLM-as-judge (оценка на основе подсказок) или логику на основе выражений для присвоения меток, оценки или классификации сеансов по вашим критериям.

Примечание

Вы создаете настраиваемые бомбардиры в тестировании Next Gen (NGT) в Agentforce Studio. См. Настройка и выполнение тестов в Agentforce Studio (бета-версия). Дополнительную информацию см. в разделе Тестирование Next Gen в Slack.

Настраиваемые рейтинги выполняются по сеансам и отображают настраиваемые оценки и измерения в обозримости.

Принцип работы настраиваемых рейтингов

Настраиваемый бомбардир поддерживается шаблоном напоминания, который автоматически запускается как пакетное задание после завершения сеанса. После выполнения оценки в сеансе сеанс связывается с ним, а метки и оценки отображаются в Optimization и Analytics.

• Рейтинг — это шаблон напоминания, выполняемый в настраиваемом проценте сеансов (типичный показатель).
• Рейтинги применяются в конце сеанса, а не во время разговора в реальном времени. Сеансы должны получать отметку времени окончания для запуска действия данных оценки.
• Результаты отображаются в разделе «Наблюдаемость» в качестве настраиваемых мер.
• Вы также можете запустить рейтинги вручную, используя вызываемое действие executeAgentforceScoresJob.
• Рейтинги не влияют на задержку или производительность агента во время разговоров в реальном времени, поскольку оценка выполняется после окончания сеанса.

Конфигурация бомбардира

Ключевые поля

Правила проверки

• scorerApiName еще не должно существовать.
• promptTemplateRef должны существовать и быть активными.
• Для типа данных «Текст»: значения рейтингов должны существовать; точно одно значение должно иметь isFallback: true; точно одно значение должно иметь isSystemFallback: true (только если isFallback также является истинным).
• Для числового типа данных: нет резервных значений; значения должны анализироваться как действительные двойники. При использовании valuesSpecification: step должно быть больше 0; min должно быть меньше max; threshold является необязательным, но должно находиться между min и max.
• Максимальное количество значений бомбардиров: 101.

Типы вывода

• Текст (метки): автор рейтинга назначает одну из предопределенных меток строк каждому сеансу (например, «Решено», «Отменено» или «Расширено»). Используются для классификации категорий.
• Число — бомбардир возвращает число в заданном диапазоне (например, 0-5). Подходит для рейтингов качества и непрерывных оценок. LLM обычно работают лучше на дискретных шкалах (например, 0-5), чем в узких диапазонах 0-1.
• Логическое значение (растяжение или будущее): возвращает значение true или false. Поддерживается для бомбардиров на основе выражений.

Запуск рейтингов в производстве

Активировать во вкладке «Определение рейтингов»

После создания и тестирования настраиваемого бомбардира активируйте его в центре бомбардиров в Agentforce Optimization. Активация позволяет бомбардиру выполняться в оперативных сеансах с настроенной частотой выборки.

Выполнение из потока Salesforce

Мы предоставляем новое вызываемое действие TriggerAgentBulkScoring для асинхронного выполнения настраиваемых бомбардиров архивных сеансов. Это действие принимает несколько сеансов и рейтингов и доступно посредством:

• Поток Salesforce
• REST API
• Apex

Имя действия: TriggerAgentBulkScoring

Важные примечания

• Все коды сеансов и scorerApiNames должны принадлежать одному агенту.
• Убедитесь в доступности версии бомбардира перед выполнением.

REST API

Отправьте запрос POST в конечную точку REST стандартного действия.

/services/data/v66.0/actions/standard/triggerAgentBulkScoring

Пример полезной нагрузки:

{
  "inputs": [
    {
      "inputIds": ["019c9442-b760-7d62-837c-8ab80ecc0fc2"],
      "inputScope": "Session",
      "scorerApiNames": ["language_classifier"]
    }
  ]
}

Используйте вызываемое действие executeAgentforceScoresJob в потоке. Действие принимает список кодов сеансов и ответственных за оценку и отправляет задание в ожидаемые продажи. Распространенные способы использования:

• Выполнение рейтингов архивных сеансов
• Пакетный анализ и настраиваемая отчетность
• Интеграция с Agentforce Grid

Metadata API

Создайте настраиваемые рейтинги и управляйте ими посредством Salesforce Metadata API, чтобы можно было развертывать рейтинги в бизнес-процессах pro-code и DevOps, включая ожидаемые продажи CI/CD.

Сценарии использования