위치:
드리프트 모니터링(베타)
Data 360에서 드리프트 모니터링을 사용하여 모델 예측 분포가 시간이 지남에 따라 크게 변경되는 경우 발생하는 예측 모델 저하를 추적합니다. 드리프트는 고객 동작, 비즈니스 상황 또는 기본 데이터 패턴의 교대 근무를 나타냅니다.
Data 360에서 드리프트 모니터링을 사용하여 활성 이진 및 회귀 모델 전반에서 두 가지 유형의 드리프트를 추적합니다.
변수 드리프트
실시간 입력 데이터의 분포가 교육 데이터에서 벗어나면 변수 드리프트가 발생합니다. 예를 들어, 이메일 및 조직 검색 리드에 대해 교육된 리드 점수 매기기 모델은 새 캠페인이 소셜 미디어에서 대부분의 리드를 갑자기 구동하면 드리프트됩니다.
시간에 따른 변수 드리프트 차트는 시간에 따른 입력 변수의 분포가 어떻게 변화하는지 시각화합니다. 점수가 낮으면 입력 데이터가 안정적이지만 점수가 더 높으면 모델 성능에 영향을 미칠 수 있는 드리프트가 증가합니다.
변수별 드리프트 차트는 입력 변수 전반의 드리프트 점수를 시각화하여 전체 드리프트에 가장 크게 기여하는 변수를 식별합니다. 점수가 낮으면 입력 데이터가 안정적이지만 점수가 더 높으면 모델 성능에 영향을 미칠 수 있는 드리프트가 증가합니다.
특정 변수를 조사하려면 변수 수준 분석을 보고 변수별 드리프트 차트를 엽니다.
예측 드리프트
예측 드리프트는 시간 경과에 따라 예측 분포가 현저하게 변경될 때 발생하며, 이는 고객 동작, 비즈니스 조건 또는 기본 데이터 패턴의 변화를 나타낼 수 있습니다.
시간에 따른 예측 드리프트 차트는 시간에 따른 모델 예측 분포가 어떻게 변화하는지 보여줍니다. 점수가 낮으면 예측이 안정적이고 점수가 더 높으면 기본 데이터 패턴의 드리프트 및 잠재적인 교대 근무가 증가합니다.
드리프트 점수 분포 차트는 추론 실행 전반에서 예측 드리프트 점수의 분포 및 빈도를 보여줍니다. 드리프트 점수가 증가하면 모델의 신뢰도가 저하되고 재교육이 필요하다는 신호가 표시됩니다. 특정 기간 동안만 드리프트가 발생하는지 또는 시간이 지나면서 지속적으로 증가하는지 여부를 식별하려면 이 차트를 사용합니다.
| 상태 | 점수 범위 |
|---|---|
| 안정적인 드리프트 | 0.0–0.1 |
| 드리프트 조정 | 0.1–0.2 |
| 중요 | >= 0.2 |
활성화된 모델의 모델 드리프트
활성화된 모델의 변경 사항을 모니터링하려면 Data 360의 AI 모델 탭에서 해당 드리프트 메트릭을 검토합니다. 드리프트 대시보드에 변수 드리프트 및 예측 드리프트에 대한 카드가 표시됩니다. 시간에 따른 모델 변경 사항을 추적하려면 해당 메트릭을 일, 주 또는 월별로 평가합니다.
각 드리프트 카드에 다음 세부 사항이 표시됩니다.
-
현재 드리프트 점수 및 상태 - 안정적, 보통 또는 상당한 드리프트
-
드리프트 증가 또는 감소 여부를 표시하는 추세 표시기
-
새 모델 버전이 활성화된 시점을 나타내는 추세 차트의 버전 마커
모델 재교육
드리프트 점수가 보통 또는 상당한 범위에 도달하면 모델을 재교육하여 현재 데이터 패턴에 맞춥니다. 드리프트를 해결하려면 업데이트된 데이터 집합을 사용하여 모델을 교육한 다음, 새 버전을 활성화합니다. 활성화하면 드리프트 기준선이 업데이트되어 새 교육 데이터가 반영되고 버전 마커가 드리프트 추세 차트에 추가됩니다.
모델 고려 사항
-
드리프트 모니터링은 이진 및 회귀 모델 및 플로 또는 API 기반 추론에만 사용할 수 있습니다.
-
유추 작업이 하나 이상 실행되고 있는지 확인합니다.
-
조직은 모델에 대한 모든 활성 유추 작업 전반에서 드리프트를 계산할 수 있습니다. 모델에 유추 작업이 여러 개 있는 경우 드리프트 점수에 모든 작업 전반에서 집계된 데이터가 반영됩니다.
-
기본 드리프트 차트는 추가 비용 없이 사용할 수 있습니다. 유추 작업 또는 유추 채널별로 더 심층 분석은 Data 360 크레딧을 사용하는 유료 기능입니다.
