詳細情報:
バイナリ分類の使用事例の [交差検証] タブ
モデルの予測能力をテストするため、Einstein Discovery は k 分割交差検証 (モデルの検証時にサンプリングバイアスを軽減するプロセス) を使用します。このタブには、このモデルの交差検証プロセスの結果と、基礎となる計算の詳細の一部の概要が表示されます。
[交差検証] タブに移動します。
[パフォーマンス] で [モデル評価] をクリックして、[交差検証] をクリックします。
[交差検証] タブの列
次の表では、[交差検証] タブの列について説明します。
| 列の名前 | 説明 |
|---|---|
| 評価指標名 | 評価指標の名前。 |
| トレーニングセット | Einstein Discovery がモデルをトレーニングするために使用した CRM Analytics データセット内の観測セットの評価指標。 |
| 検証セット | Einstein Discovery が、トレーニングされたモデルにより生成された予測を検証するために使用する CRM Analytics データセット内の観測セットの評価指標。 |
| 分割 #1 | 1 番目の分割の評価指標。 |
| 分割 #2 | 2 番目の分割の評価指標。 |
| 分割 #3 | 3 番目の分割の評価指標。 |
| 分割 #4 | 4 番目の分割の評価指標。 |
[交差検証] タブの評価指標
次の表では、[交差検証] タブの評価指標について説明します。
| 評価指標名 | 説明 |
|---|---|
| 行数 | 観測の合計数。値の意味は、列ごとに異なります。
|
| AUC | 曲線下面積。ロジスティックモデルによる正分類率を表します。AUC は、分類の使用事例で使用する最も合理的な評価指標です。 範囲:
|
| GINI | ジニインデックス。取得したモデルのパフォーマンスが、理論的に最適なモデルにどれほど近いのかを定量化します。 範囲:
|
| 対数損失 | 対数損失。モデルパフォーマンスを 0 ~ 1 のスケールで測定します。0 は完全モデル (予測確率が実際の観測に 100% 正しく一致する) を表します。予測確率が実際の観測に正しく一致しない (パフォーマンスが低い) ほど、対数損失は大きくなります。対数損失では、モデルパフォーマンスの不確実性が考慮されます。 |
| 分類あたりの平均誤差 | 予測が誤っている頻度を測定します。値が低いほど、予測が誤っている頻度が低くなるため、予測の作成に適したモデルになります。 |
モデル検証方法
Einstein Discovery は、モデルで k 分割交差検証 (k=4) を実行します。このプロセスには次の手順が含まれます。
- CRM Analytics データセットのすべての観測を 4 つの同じサイズの個別のパーティションにランダムに分割します。
- 4 つのテストパス (分割) を実行します。3 つのパーティションはトレーニングセットとして機能し、1 つのパーティションはテストセットとして機能します。メモ 4 つのテストパスが完了すると、各パーティションは検証セットとして 1 回機能し、トレーニングセットの一部として 3 回機能したことになります。
- 分割ごとに、モデル評価指標をまとめます。
- 4 つの分割の平均を取り、全体的なスコアを生成します。
