モデル品質通知の設定

実際のデータの特性がモデルの作成に使用されたトレーニングデータと大きく異なる場合、モデルがドリフトします。モデルのパフォーマンスが設定されたしきい値を下回った場合にアラート通知を送信できます。予測エラー率、欠損値、範囲外値が大きく増加した場合、通知がトリガーされる可能性があるだけでなく、バイアスが分析されている変数で異種影響が検出される可能性もあります。アラートしきい値を設定したり、パフォーマンス評価サイクルを週次または月次でスケジュールしたり、通知の受信者を指定したりできます。

メモ モデルバージョンをリリースする場合、Einstein は、パフォーマンス統計をリセットし、現行モデルバージョンのパフォーマンス統計の累積を開始し、以前のバージョンの履歴をクリアします。

パフォーマンスアラートを設定する手順は、次のとおりです。

1. モデルマネージャーで、自動書き戻し項目を使用する予測定義を表示します。
2. 設定パネルで、[モデル品質通知] の横にある [設定] をクリックします。
   
3. 任意のアラート条件を有効化します。
   
4. 有効化したアラート条件の設定を定義します。
   

   条件	アラートしきい値
   予測正解率が低下	メモ このオプションを使用するには、精度を監視できるようにモデルの完了状態を設定する必要があります。 ライブデータの真陽性率または真陰性率がトレーニングデータを指定したパーセント値下回った場合に通知をトリガーします。
   欠損値が多すぎます	欠損値のあるレコードの数が指定したパーセント値を超えた場合に通知をトリガーします。
   範囲外の値が多すぎます	範囲外の値のあるレコードの数が指定したパーセント値を超えた場合に通知をトリガーします。範囲外の値とは、モデルのトレーニングで使用されたトレーニングデータに含まれていない値です。
   異種影響あり	バイアスが分析されている変数のライブ データで逆比率（80% 未満）が検出されたときに通知をトリガーします。 アラートを開くと、変数内の値またはグループの不均衡な分布を示すグラフが表示されます。青の列には最も高い選択率が表示され、オレンジの列には悪影響を受ける値グループが表示されます。
   初めてこの条件に達したときにのみ受信者に通知	一度だけ通知する必要がある場合に有効化します。

5. [頻度] で、モデルを評価する頻度として [毎週] または [毎月] を選択し、曜日または日付、そして開始時刻を設定します。
6. [通知受信者] で [メール受信者を編集] をクリックして、通知を受信するユーザーのメールアドレスを指定します。
   

   • ユーザーを追加するには、[受信者リストに追加] で [ユーザー] を選択し、[ユーザー名] ボックスをクリックして、ユーザーを選択してから [追加] をクリックします。

   • グループを追加するには、[受信者リストに追加] で [グループ] を選択し、[グループ名] ボックスをクリックして、グループを選択してから [追加] をクリックします。

   このウィンドウを閉じるには、右上にある [X] をクリックします。

7. [保存] をクリックします。