Loading
ただいま大変多くのお問い合わせをいただいており、ご連絡までにお時間を頂戴しております続きを読む
CRM Analytics
バイナリ分類の使用事例の [交差検証] タブ

バイナリ分類の使用事例の [交差検証] タブ

モデルの予測能力をテストするため、Einstein Discovery は k 分割交差検証 (モデルの検証時にサンプリングバイアスを軽減するプロセス) を使用します。このタブには、このモデルの交差検証プロセスの結果と、基礎となる計算の詳細の一部の概要が表示されます。

メモ
メモ Einstein Discovery ストーリーがモデルになりました。一度にすべての場所の名前を更新することはできないため、置換が完了するまで、場所によっては以前の名前になっている場合があります。

[交差検証] タブに移動します。

[パフォーマンス] で [モデル評価] をクリックして、[交差検証] をクリックします。

4 分割交差検証の結果が表示されている [交差検証] タブ

[交差検証] タブの列

次の表では、[交差検証] タブの列について説明します。

列の名前説明
評価指標名 評価指標の名前。
トレーニングセット Einstein Discovery がモデルをトレーニングするために使用した CRM Analytics データセット内の観測セットの評価指標。
検証セット Einstein Discovery が、トレーニングされたモデルにより生成された予測を検証するために使用する CRM Analytics データセット内の観測セットの評価指標。
分割 #1 1 番目の分割の評価指標。
分割 #2 2 番目の分割の評価指標。
分割 #3 3 番目の分割の評価指標。
分割 #4 4 番目の分割の評価指標。

[交差検証] タブの評価指標

次の表では、[交差検証] タブの評価指標について説明します。

評価指標名説明
行数

観測の合計数。値の意味は、列ごとに異なります。

  • [トレーニングセット] および [検証セット] 列の場合、この数値は同じです。この値は、モデルの作成で使用されるデータセット全体の観測の合計数を表します。
  • [分割 #1][分割 #4] 列の場合、この値はその分割に含まれる観測数 (データセット全体の約 25%) を表します。
AUC

曲線下面積。ロジスティックモデルによる正分類率を表します。AUC は、分類の使用事例で使用する最も合理的な評価指標です。

範囲:

  • 0.5 は、ランダムな推測になります。
  • 1.0 は、モデルで 100% の確率でデータが正しく分類されたことを意味します (疑わしいモデル)。
GINI

ジニインデックス。取得したモデルのパフォーマンスが、理論的に最適なモデルにどれほど近いのかを定量化します。

範囲:

  • 0 は、モデルがランダムと同等であることを意味します。
  • 1 は、予測が観測に正確に一致していることを意味します (懐疑的に見る)。
対数損失 対数損失。モデルパフォーマンスを 0 ~ 1 のスケールで測定します。0 は完全モデル (予測確率が実際の観測に 100% 正しく一致する) を表します。予測確率が実際の観測に正しく一致しない (パフォーマンスが低い) ほど、対数損失は大きくなります。対数損失では、モデルパフォーマンスの不確実性が考慮されます。
分類あたりの平均誤差 予測が誤っている頻度を測定します。値が低いほど、予測が誤っている頻度が低くなるため、予測の作成に適したモデルになります。

モデル検証方法

Einstein Discovery は、モデルで k 分割交差検証 (k=4) を実行します。このプロセスには次の手順が含まれます。

  • CRM Analytics データセットのすべての観測を 4 つの同じサイズの個別のパーティションにランダムに分割します。
  • 4 つのテストパス (分割) を実行します。3 つのパーティションはトレーニングセットとして機能し、1 つのパーティションはテストセットとして機能します。
    メモ
    メモ 4 つのテストパスが完了すると、各パーティションは検証セットとして 1 回機能し、トレーニングセットの一部として 3 回機能したことになります。
  • 分割ごとに、モデル評価指標をまとめます。
  • 4 つの分割の平均を取り、全体的なスコアを生成します。
 
読み込み中
Salesforce Help | Article