Вы находитесь здесь:
Отслеживание дрейфа (бета-версия)
Используйте отслеживание отклонения в данных 360 для отслеживания ухудшения прогнозируемой модели, которое происходит, когда распределение прогнозов модели значительно меняется в динамике. Отклонение обозначает изменения в поведении клиентов, бизнес-условиях или основных схемах данных.
Используйте мониторинг дрейфа в Data 360 для отслеживания этих двух типов дрейфа в активных двоичных и регрессионных моделях.
Переменный дрейф
Переменный дрейф происходит, когда распределение оперативных вводных данных переходит из учебных данных. Например, модель определения рейтингов интересов, обученная работе с электронной почтой и интересами органического поиска, исчезает, когда новая кампания внезапно вытесняет большинство интересов из социальных сетей.
Диаграмма «Переменная дрейфа во времени» отображает изменение распределения переменных ввода во времени. Более низкие оценки обозначают стабильные вводные данные, в то время как более высокие оценки обозначают большее отклонение, которое может повлиять на производительность модели.
Диаграмма «Дрейф по переменной» визуализирует рейтинги дрейфа в переменных ввода, чтобы определить, какие переменные больше всего влияют на общий дрейф. Более низкие оценки обозначают стабильные вводные данные, в то время как более высокие оценки обозначают большее отклонение, которое может повлиять на производительность модели.
Чтобы исследовать конкретную переменную, просмотрите разбивку на уровне переменной и откройте диаграмму дрейфа переменной.
Двиг прогноза
Отклонение прогноза происходит, когда распределение прогнозов значительно меняется с течением времени, что может свидетельствовать об изменениях в поведении клиентов, бизнес-условиях или основных схемах данных.
Диаграмма «Дрейф прогноза в динамике» отображает изменения в распределениях прогноза модели в динамике. Низкие оценки обозначают стабильные прогнозы, в то время как более высокие оценки обозначают большее отклонение и потенциальные сдвиги в базовых схемах данных.
Диаграмма распределения дрейфа рейтингов отображает распределение и частоту дрейфа рейтингов прогноза в выполнении вывода. Рост рейтингов дрейфа указывает на снижение надежности модели и указывает на необходимость повторного обучения. Чтобы определить, происходит ли дрейф только в определенные периоды или постоянно увеличивается с течением времени, используйте эту диаграмму.
| СТАТУС | ДИАПАЗОН ОЦЕНКИ |
|---|---|
| Стабильный дрейф | 0.0–0.1 |
| Средний дрейф | 0.1–0.2 |
| Значение | >= 0.2 |
Дрифт модели для активированной модели
Чтобы отслеживать изменения в активированной модели, просмотрите ее показатели отклонения во вкладке моделей на основе искусственного интеллекта в Data 360. Панель мониторинга отклонения отображает карты для отклонения переменной и отклонения прогноза. Чтобы отслеживать изменения модели в динамике, оцените эти показатели по дню, неделе или месяцу.
Каждая карта дрифта отображает следующие сведения:
-
Текущая оценка дрейфа и статус — стабильный, умеренный или значительный дрейф
-
Индикатор тренда, отображающий, увеличивается или уменьшается дрейф
-
Маркеры версий на диаграмме тренда, обозначающие время активации новой версии модели
Переобучение модели
Когда рейтинги дрейфа достигают среднего или значительного диапазона, переподготовьте модель для соответствия текущим схемам данных. Чтобы устранить отклонение, обучите модель, используя обновленный набор данных, а потом активируйте новую версию. Активация обновляет дрейфующий базис для отображения новых данных обучения и добавляет маркеры версий к диаграммам дрейфа тренда.
Рекомендации по модели
-
Отслеживание дрейфа доступно только для двоичных и регрессионных моделей и для выводов на основе потока или API.
-
Убедитесь в выполнении как минимум одного задания вывода.
-
Организация может вычислить отклонение по всем активным заданиям вывода для модели. Если у модели есть несколько заданий вывода, оценки отклонения отображают агрегированные данные во всех заданиях.
-
Базовые дрейфующие диаграммы доступны бесплатно. Более глубокий анализ по заданию вывода или каналу вывода - это платная функция, использующая кредиты Data 360.
