詳細情報:
ドリフト監視 (ベータ)
Data 360 のドリフト監視を使用して、モデル予測の分布が経時的に大幅に変化する場合に発生する予測モデルの劣化を追跡します。ドリフトは、顧客の行動、ビジネス状況、または基盤となるデータパターンの変化を示します。
Data 360 のドリフト監視を使用して、有効なバイナリモデルと回帰モデル全体でこの 2 種類のドリフトを追跡します。
変数ドリフト
変数ドリフトは、ライブ入力データの分布がトレーニングデータから離れると発生します。たとえば、メールとオーガニック検索のリードでトレーニングされたリードスコアリングモデルは、新しいキャンペーンでソーシャルメディアからほとんどのリードが突然誘導されるとドリフトします。
[Variable Drift Over Time (経時的な変数ドリフト)] グラフは、入力変数の分布が経時的にどのように変化するかを視覚化します。スコアが低いほど安定した入力データを示し、スコアが高いほどモデルのパフォーマンスに影響する可能性があるドリフトが大きいことを示します。
[ドリフトバイ変数] グラフでは、入力変数全体のドリフトスコアが視覚化され、全体的なドリフトに最も寄与している変数を特定できます。スコアが低いほど安定した入力データを示し、スコアが高いほどモデルのパフォーマンスに影響する可能性があるドリフトが大きいことを示します。
特定の変数を調査するには、変数レベルの内訳を表示し、変数固有のドリフトグラフを開きます。
予測ドリフト
予測ドリフトは、予測の分布が経時的に大幅に変化すると発生します。これは、顧客の行動、ビジネス状況、または基盤となるデータパターンの変化を示している可能性があります。
[Prediction Drift Over Time (予測ドリフトの推移)] グラフには、モデル予測分布の経時的な変化が表示されます。スコアが低いほど予測が安定することを示し、スコアが高いほどドリフトが大きく、基礎となるデータパターンがシフトする可能性があります。
ドリフトスコア分布グラフには、推測の実行全体の予測ドリフトスコアの分布と頻度が表示されます。ドリフトスコアの上昇は、モデルの信頼性の低下を示し、再トレーニングが必要であることを示します。ドリフトが特定の期間にのみ発生するのか、経時的に一貫して増加するのかを識別するには、次のグラフを使用します。
| STATUS | スコア範囲 |
|---|---|
| 安定したドリフト | 0.0–0.1 |
| ドリフトのモデレート | 0.1–0.2 |
| 重要 | >= 0.2 |
有効化されたモデルのモデルドリフト
有効化されたモデルの変更を監視するには、Data 360 の [AI モデル] タブでドリフト総計値を確認します。 ドリフトダッシュボードには、変数ドリフトと予測ドリフトのカードが表示されています。経時的なモデルの変化を追跡するには、日、週、または月別にこれらの総計値を評価します。
各ドリフトカードには次の詳細が表示されます。
-
現在のドリフトスコアと状況 — [安定]、[中程度]、または [重要なドリフト]
-
ドリフトが増加しているか減少しているかを示すトレンドインジケーター
-
新しいモデルバージョンがいつ有効化されたかを示すトレンドグラフのバージョンマーカー
モデルの再トレーニング
ドリフトスコアが中程度または有意な範囲に達したら、現在のデータパターンに合わせてモデルを再トレーニングします。ドリフトに対処するには、更新されたデータセットを使用してモデルをトレーニングし、新しいバージョンを有効化します。有効化すると、新しいトレーニングデータを反映してドリフトベースラインが更新され、ドリフトトレンドグラフにバージョンマーカーが追加されます。
モデルに関する考慮事項
-
ドリフト監視は、バイナリモデルと回帰モデル、およびフローまたは API ベースの推測でのみ使用できます。
-
少なくとも 1 つの推測ジョブが実行されていることを確認します。
-
組織は、モデルのすべての有効な推測ジョブのドリフトを計算できます。モデルに複数の推測ジョブがある場合、ドリフトスコアにはすべてのジョブの集計データが反映されます。
-
基本的なドリフトグラフは追加費用なしで使用できます。推測ジョブまたは推測チャネルによる詳細な分析は、Data 360 クレジットを使用する有料機能です。

