Você está aqui:
Monitoramento de desvio (beta)
Use o Monitoramento de desvio no Data 360 para rastrear a degradação do modelo preditivo, que ocorre quando a distribuição de previsões de modelo muda significativamente ao longo do tempo. O desvio indica turnos no comportamento do cliente, nas condições de negócios ou nos padrões de dados subjacentes.
Use o monitoramento de desvio no Data 360 para rastrear esses dois tipos de desvio em modelos de regressão e binários ativos.
Drift de variável
O desvio de variável ocorre quando a distribuição de dados de entrada ativa sai dos dados de treinamento. Por exemplo, um modelo de pontuação de lead treinado em leads de pesquisa orgânica e email desvia quando uma nova campanha repentinamente direciona a maioria dos leads das mídias sociais.
O gráfico de desvio de variável ao longo do tempo visualiza como a distribuição de variáveis de entrada muda ao longo do tempo. Pontuações menores indicam dados de entrada estáveis, enquanto pontuações mais altas indicam maior desvio que pode afetar o desempenho do modelo.
O gráfico de Desvio por variável visualiza pontuações de desvio entre variáveis de entrada para ajudar a identificar quais variáveis mais contribuem para o desvio geral. Pontuações menores indicam dados de entrada estáveis, enquanto pontuações mais altas indicam maior desvio que pode afetar o desempenho do modelo.
Para investigar uma variável específica, visualize o detalhamento no nível da variável e abra o gráfico de desvio específico da variável.
Drift de previsão
O desvio de previsão ocorre quando a distribuição de previsões muda significativamente ao longo do tempo, o que pode indicar mudanças no comportamento do cliente, nas condições de negócios ou nos padrões de dados subjacentes.
O gráfico de desvio de previsão ao longo do tempo mostra como as distribuições de previsão de modelo mudam ao longo do tempo. Pontuações menores indicam previsões estáveis, enquanto pontuações mais altas indicam maior desvio e possíveis turnos nos padrões de dados subjacentes.
O gráfico de Distribuição de pontuação de desvio mostra a distribuição e a frequência das pontuações de desvio de previsão em execuções de inferência. Pontuações de desvio crescentes indicam a confiabilidade reduzida do modelo e indicam a necessidade de treinamento recorrente. Para identificar se o desvio ocorre apenas durante períodos específicos ou aumenta de modo consistente ao longo do tempo, use este gráfico.
| STATUS | FAIXA DE PONTUAÇÃO |
|---|---|
| Drift estável | 0.0–0.1 |
| Moderar desvio | 0.1–0.2 |
| Significativo | >= 0.2 |
Desvio de modelo para um modelo ativado
Para monitorar alterações em um modelo ativado, revise suas métricas de desvio na guia Modelos de IA no Data 360. O painel de desvio mostra cartões para desvio variável e desvio de previsão. Para rastrear alterações do modelo ao longo do tempo, avalie essas métricas por dia, semana ou mês.
Cada cartão de desvio mostra estes detalhes:
-
Pontuação e status de desvio atuais – estável, moderado ou desvio significativo
-
Indicador de tendência que mostra se o desvio está aumentando ou diminuindo
-
Marcadores de versão no gráfico de tendências que indicam quando uma nova versão do modelo foi ativada
Treinamento de modelo
Quando as pontuações de desvio atingirem o intervalo moderado ou significativo, treine o modelo novamente para alinhá-lo aos padrões de dados atuais. Para lidar com o desvio, treine o modelo usando um conjunto de dados atualizado e ative a nova versão. A ativação atualiza a linha de base de desvio para refletir os novos dados de treinamento e adiciona marcadores de versão aos gráficos de tendência de desvio.
Considerações sobre modelo
-
O monitoramento de desvio está disponível apenas para modelos binários e de regressão e para inferências baseadas em API ou Fluxo.
-
Certifique-se de que pelo menos um trabalho de inferência esteja em execução.
-
Uma organização pode realizar um desvio de computação em todos os trabalhos de inferência ativos para um modelo. Se um modelo tiver vários trabalhos de inferência, as pontuações de desvio refletirão os dados agregados em todos os trabalhos.
-
Gráficos de desvio básicos estão disponíveis sem custo adicional. Análise mais profunda por trabalho de inferência ou canal de inferência é um recurso pago que consome créditos do Data 360.
