위치:
데이터 누출 경고
모델의 교육 데이터에 예측하려는 정보가 포함된 경우 데이터 누출이 발생합니다. 누출이 발생하면 모델은 교육에서 낙관적으로 높은 점수를 얻지만 실제 데이터에서는 덜 정확하게 수행됩니다. 실제로 사용할 수 없는 학습 패턴으로 모델을 유혹하여 예측을 저하할 수 있습니다.
조치 방법
변수를 조사하여 데이터 누출이 있는지 확인합니다. 모델에서 변수가 발견될 경우 해당 변수를 제외합니다.
감지 방법론
모델 빌더는 항상 동일한 결과가 있는 설명 변수를 감지하면 경고를 표시합니다.
예
대출 기관이 고객이 대출을 기본값으로 받을지 예측하려고 합니다. 이를 위해 대출 기관은 다음 입력 변수를 사용하여 이진 모델을 구축합니다.
- 나이
- 소득
- 신용 점수
- 대출 금액
- 대출 상태
- 결제 내역
- 대출 최종 결제 날짜
교육 후 데이터 누출이 감지되었으므로 모델에 경고가 표시됩니다. "대출 상태" 및 "결제 내역" 변수 값은 대출이 승인되고 부분적으로 환불된 후에만 결정됩니다. 해당 정보를 포함하면 모델이 예측할 때 실제로 사용할 수 없는 향후 데이터가 누출됩니다. 문제를 해결하려면 다음과 같은 몇 가지 고려 조치를 취해야 합니다.
- 교육 집합에서 "대출 상태", "결제 내역", "대출 최종 결제 일자" 입력 변수를 제외합니다.
- 대출 승인 시점에 알려진 변수를 "연령", "수입", "신용 점수", "대출 금액" 대신 사용합니다.
- 업데이트된 데이터 집합으로 모델을 재교육합니다.
