Você está aqui:
Monitoramento de modelo preditivo
Mantenha a precisão, a estabilidade e a confiabilidade dos modelos preditivos implementados com o monitoramento de modelo no Einstein Studio. Esse processo contínuo fornece percepções aprofundadas sobre o desempenho do modelo e identifica problemas de qualidade de dados ou conectividade. Sem monitoramento consistente no Data 360, o desempenho do modelo pode diminuir e levar a previsões imprecisas, resultados inesperados e redução da confiança em seus resultados.
O monitoramento de modelo é crucial por estes motivos:
- Mantém a confiabilidade e Trust de um modelo para uso contínuo.
- Monitora o desempenho de um modelo ativado com dados ativos para garantir que ele atinja sua meta.
- Fornece uma compreensão das ações corretivas, como treinar o modelo novamente com novos dados.
- Rastreia o desempenho para entender o comportamento de um modelo ao longo do tempo com base nessas métricas.
- Estatísticas de utilização do modelo para modelos ativos, incluindo aqueles criados do zero (modelos criados pelo Einstein) e modelos conectados (Traga seus próprios modelos – BYOM).
- Problemas de conectividade (modelos conectados)
- Problemas de qualidade dos dados (modelos criados do zero)
Uso do modelo (criado do zero e modelos conectados)
Acompanhe o uso de modelos criados do zero e modelos conectados para obter percepções sobre inferências e estatísticas de modelo usando dados de previsão ativa. Os gráficos de série de tempo oferecem periodicidades flexíveis, permitindo que você visualize dados nas últimas 24 horas, sete dias ou 30 dias.
| ESTATÍSTICAS | DESCRIÇÃO | PRINCIPAIS MÉTRICAS |
|---|---|---|
| Métricas de atividade | Principais dados de uso e erros em comparação a um período anterior. | Total de inferências, erros de conexão, erros de tempo limite e erros de autenticação, geralmente com um indicador de tendência (por exemplo, +1,3% versus os últimos 30 dias). |
| Total de inferências ao longo do tempo | Gráfico de série temporal com a contagem total de inferências gerada no período selecionado. | Total de inferências com um indicador de tendência. Os números de versão ativados são representados como marcadores verticais. |
| Inferências por canal de integração | Gráfico de barras mostrando a distribuição de previsões com base no canal de integração. | Inferências pelos canais de integração, como trabalho de previsão, transformações, fluxos e APIs. |
Qualidade dos dados (criada apenas com base em modelos teste)
O desempenho do modelo depende da qualidade dos dados, e problemas poderão ocorrer se os dados ativos forem significativamente diferentes dos dados de treinamento. Monitore para rastrear Problemas de qualidade dos dados, como valores ausentes e valores fora dos limites. Os alertas para esses problemas são exibidos quando o número de registros é afetado por um problema para uma variável específica.
| PROBLEMA | DESCRIPÇÃO | |
|---|---|---|
| Valores ausentes | Contagem total de valores ausentes em todas as variáveis em relação ao número total de inferências. | Contagem de valores ausentes, total de inferências e um percentual de tendência. O indicador de tendência mostra se os valores estão em aumento de 20% ou em redução de 30% em comparação ao período selecionado. |
| Valores ausentes por variável | Gráfico de barras com variáveis que contêm valores ausentes. Um cartão que também exibe métricas por variável e canal de integração. | Percentual de valores ausentes para cada variável. |
| Valores fora do limite (OOB) por variável | Gráfico de barras com variáveis que contêm valores fora do intervalo esperado. Um cartão também exibe métricas por variável e canal de integração. | Percentual de valores fora dos limites para cada variável. |
Conectividade (somente modelos conectados)
Alertas que são apresentados para problemas de conectividade incluem erros de conexão, tempo limite e autenticação, que são rastreados com dados ativos.
| ERRO | DESCRIPÇÃO | métrica principal |
|---|---|---|
| Erros de conectividade | Exibe o número total de erros (conexão, tempo limite, autenticação) em relação ao número total de inferências. | Total de erros de conectividade com um indicador de tendência. |
| Erros de conexão ao longo do tempo | Gráfico de série temporal com problemas de conectividade por causa ao longo de um período de tempo. | Problemas de conectividade ao longo do tempo com um indicador de tendência. |
