다중 의도 예측 테스트

대량 테스트를 사용하여 다음을 수행합니다.

• 단일 요청에서 최대 1,000개의 발화 평가
• 예상 및 예측 의도 비교
• 각 예측의 신뢰도 점수 검토
• 요약 메트릭을 사용하여 전반적인 성과 분석

다음의 두 가지 방법으로 대량 테스트를 수행할 수 있습니다.

• 사용자 정의 발화 테스트: 발화 및 예상 의도 데이터 집합을 제공하여 특정 시나리오를 평가합니다.
• 기존 Bot 데이터를 사용하여 테스트: Bot에 이미 구성된 모든 발화를 평가하여 완전한 성능 요약을 생성합니다.

다음 두 가지 접근 방식은 서로 다른 API 끝점에 해당합니다.

시작하기 전에 Einstein Bots 및 Einstein for Intents를 켜고 모델을 구축합니다. 배치 입력 테스터 파일럿 권한을 활성화하고 Bot 개요 페이지에서 교차 언어 의도 모델(Intent V3)을 활성화합니다.

노트 배치 입력 테스터 파일럿 권한을 활성화하려면 Salesforce 고객 지원에 문의하십시오. 교차 언어 의도 모델을 해제하는 경우 Salesforce는 의도 표준 V2(단일 언어) 또는 의도 다중 언어 2.5(다중 언어)를 사용하여 모델을 구축합니다.

대량 테스트 작동 방식

대량 테스트는 Bot의 의도 모델에 대한 발화를 평가하고 다음을 반환합니다.

• 발화 집합 또는 선택한 Bot 버전으로 평가 요청을 시작합니다.
• 의도 모델은 각 발화를 처리하고 가장 관련성이 높은 의도를 예측합니다.
• 시스템에서 예측된 의도를 예상 의도와 비교합니다(제공된 경우).
• 시스템에서 각 예측에 신뢰도 점수 및 등급을 할당합니다.
• 전체 성능 메트릭이 포함된 예측 요약이 생성됩니다.
• 시스템에서 모든 평가된 발화에 대한 통합 결과를 반환합니다.

예측 결과 이해

Bot이 발화를 얼마나 정확하게 분류하는지 이해하고 개선할 영역을 식별하려면 예측 결과를 검토합니다.

사용량별 결과. 각 발화에 대해 시스템에서 다음을 반환합니다.

• 예측 의도: 모델이 식별한 의도
• 예측 결과: 예측 의도가 예상 의도와 일치하는지 여부를 나타냅니다(전달, 실패 또는 처리되지 않음).
• 신뢰도 점수: 예측이 정확한 가능성을 나타냅니다.

요약 메트릭. 시스템은 전체 성과를 평가하는 데 도움이 되는 집계된 메트릭을 제공합니다.

• 성공률: 올바르게 예측된 발화 비율
• 실패 횟수: 잘못 예측된 발화 수
• 의도 보장률: 하나 이상의 발화에 대해 올바르게 예측된 의도 비율
• 오류 수: Bot이 처리할 수 없는 발화 수

고려 사항

대량 테스트를 사용할 때 다음 사항을 고려하십시오.

• 한 번에 최대 1,000개의 발화를 평가할 수 있습니다.
• 결과는 의도 교육 데이터의 품질에 따라 다릅니다.
• 실패한 예측을 검토하여 의도 정확도를 향상합니다.
• 개별 발화에 대한 오류는 전체 평가를 중지하지 않습니다.

API 세부 사항은 Connect REST API 개발자 가이드의 Bot 발화 의도 예측 리소스를 참조하십시오.