점수 매기기 및 사용자 정의 점수 매기기(베타)

최적화 및 Analytics에 점수 매기기가 표시되는 위치

• Next Gen Testing — 새 테스트 제품군 또는 기존 테스트 제품군의 일부로 사용자 정의 점수 매기기를 만들고 정밀 조정하고 게시합니다.
• Scorer Hub(Agentforce Studio) — 점수 매기기를 보고 활성화하고 관리할 수 있는 중앙 장소입니다.
• 세션 및 의도 테이블 — 세션에 점수 매기기 결과가 표시되며 사용자 정의 점수 매기기 차원별로 필터링 및 분석합니다.
• 세션 페이지 - 세션에 관련 점수 레이블 및 점수가 표시됩니다.
• Analytics 대시보드 — 사용자 정의 점수 매기기 측정값이 보고 메트릭으로 표시됩니다.

고려 사항 및 제한 사항

• 에이전트 최적화 및 Analytics가 활성화된 Salesforce Foundations 또는 Agentforce 1 Edition이 포함된 Enterprise, Performance, Unlimited Edition의 Lightning Experience 사용할 수 있습니다.
• 사용자 정의 점수 매기기는 베타 버전이며 Agentforce 외에 추가 라이센스가 필요하지 않습니다.
• 베타 기간에는 세션 수준 점수만 지원됩니다.
• 사용자 정의 점수 매기기는 Agentforce 직원 에이전트(AEA) 에이전트 유형에 지원되지 않습니다.
• SDR 에이전트 유형은 점수 매기기 허브에 표시되지만 최적화 UI 에이전트 드롭다운에는 표시되지 않습니다.
• STDM이 프로비저닝되면 표준 점수(A&D, 품질 점수)가 생성됩니다. 누락된 경우 프로비저닝 문제를 확인하십시오.
• 편집하기 전에 표준 점수를 복제해야 합니다. 베타 동안 직접 편집이 지원되지 않습니다.
• 식 기반 점수는 부울 출력 유형이 필요합니다.
• LLM은 매우 좁은 숫자 범위에서 성과가 좋지 않으므로 0~1 척도의 숫자 점수 매기기를 권장하지 않습니다.
• 테스트 센터 세션은 사용자 정의 점수 매기기에 의해 점수가 매겨지지 않습니다. 테스트 센터 세션은 종료 타임스탬프를 수신하지 않으므로 사용자 정의 점수 매기기 평가를 트리거하는 데이터 작업은 실행되지 않습니다.

개요

점수 매기기는 에이전트 세션을 평가하고 점수, 치수(텍스트 값), 측정값(숫자 값)을 생성합니다. Agentforce 최적화 및 관찰 기능의 일부입니다. 구성 가능한 세션 비율에 대해 자동으로 실행되며 최적화 및 Analytics에서 결과를 표시하므로 관리자 및 개발자가 에이전트 성과를 지속적으로 향상할 수 있습니다.

점수 매기기는 다음과 같은 두 가지 유형이 있습니다.

• Salesforce에서 제공하는 표준 점수입니다.
• 사용자 지정 점수은 비즈니스별 기준을 평가하기 위해 조직에서 정의합니다.

표준 점수 매수

표준 점수는 STDM 프로비저닝으로 자동으로 생성되는 사전 빌드된 평가입니다. 추가 고객 구성 없이 에이전트 세션에서 실행됩니다.

현재 표준 점수

• 중단 점수 - 에이전트가 문제를 해결하기 전에 고객이 세션을 조기에 종료했는지 여부를 나타냅니다.
• Deflection Score — 에이전트가 인적 에스컬레이션이 필요한 상호 작용을 성공적으로 편향했는지 여부를 나타냅니다.
• 품질 점수 - 사전 정의된 Salesforce 기준을 기반으로 전반적인 세션 품질을 측정합니다.

표준 점수 매기기는 사용자 인터페이스에서 예약된 위치를 사용하며 사용자 정의 점수 매기기 목록과 구분됩니다.

중요

표준 점수 매기기를 직접 편집할 수 없습니다. 복제하여 수정된 논리로 새 사용자 정의 버전을 만듭니다.

사용자 정의 점수 매수

사용자 정의 점수 매기기를 사용하면 평가 논리를 정의하고 세션에 적용할 수 있습니다. 판사로서의 LLM(프롬프트 기반 평가) 또는 표현식 기반 논리를 사용하여 기준에 따라 세션에 레이블을 지정하거나 점수를 매기거나 세션을 분류합니다.

노트

Agentforce Studio에서 Next Gen Testing(NGT)에서 사용자 정의 점수 매기기를 만듭니다. Agentforce Studio(베타)에서 테스트 설정 및 실행을 참조하십시오. 자세한 내용은 Slack에서 Next Gen Testing을 참조하십시오.

사용자 정의 점수 매기기가 세션에 대해 실행되고 관찰 가능성에 사용자 정의 점수 및 치수를 표시합니다.

사용자 정의 점수 매기기 작동 방식

사용자 정의 점수 매기기는 세션이 종료되면 배치 작업으로 자동으로 실행되는 프롬프트 템플릿에 의해 지원됩니다. 점수 매기기가 세션에서 실행되면 세션이 해당 점수 매기기에 연결되고 최적화 및 Analytics에 레이블과 점수가 표시됩니다.

• 점수 매기기는 구성 가능한 세션 비율(샘플 비율)에서 실행되는 프롬프트 템플릿입니다.
• 실시간 대화 중이 아닌 세션 종료 시 점수가 적용됩니다. 점수 매기기 데이터 작업을 실행하려면 세션에 종료 타임스탬프가 수신되어야 합니다.
• 결과는 관찰 가능성에 사용자 정의 측정값으로 표시됩니다.
• 또한 executeAgentforceScoresJob 호출 가능 작업을 사용하여 점수 매기기를 수동으로 트리거할 수 있습니다.
• 점수 매기기는 세션이 종료된 후에 실행되므로 실시간 대화 동안 에이전트의 대기 시간 또는 성과에 영향을 미치지 않습니다.

점수 구성

키 필드

검증 규칙

• scorerApiName가 존재하지 않아야 합니다.
• promptTemplateRef가 존재하고 활성화되어야 합니다.
• 텍스트 데이터 유형의 경우 점수 매기기 값이 있어야 합니다. 정확히 한 값이 isFallback: true이고 정확히 한 값이 isSystemFallback: true이어야 합니다(isFallback도 true인 경우에만).
• 숫자 데이터 유형의 경우 대체 값이 없으며, 값은 유효한 이중으로 구문 분석해야 합니다. valuesSpecification를 사용하는 경우: step는 0보다 크고, min는 max보다 작고, threshold은 선택 사항이지만 min과 max 사이에 있어야 합니다.
• 최대 점수 매기기 값 수: 101.

출력 유형

• 텍스트(태블) - 점수 매기기가 각 세션에 미리 정의된 문자열 레이블 집합 중 하나를 할당합니다(예: 해결됨, 포기됨 또는 에스컬레이션됨). 범주형 분류에 사용합니다.
• 숫자 - 점수 매기기가 정의된 범위(예: 0~5)의 숫자를 반환합니다. 품질 등급 및 연속 점수에 적합합니다. LLM은 일반적으로 0~5와 같은 개별 규모에서 좁은 0~1 범위보다 더 잘 수행됩니다.
• 부울(확장 또는 미래) — true 또는 false를 반환합니다. 표현식 기반 점수는 지원됩니다.

프로덕션에서 점수 매기기 실행

점수 매기기 탭에서 활성화

사용자 정의 점수 매기기를 만들고 테스트한 후 Agentforce 최적화의 점수 매기기 허브에서 활성화합니다. 활성화를 사용하면 점수 매기기가 구성된 샘플 비율로 실시간 세션에서 실행됩니다.

Salesforce 플로에서 실행

내역 세션에서 사용자 정의 점수 매기기를 비동기식으로 실행하는 새 호출 가능한 작업인 TriggerAgentBulkScoring을 제공합니다. 이 작업은 여러 세션 및 점수 매기기를 허용하며 다음을 통해 액세스할 수 있습니다.

• Salesforce 플로
• REST API
• Apex

작업 이름: TriggerAgentBulkScoring

기본 사항

• 모든 세션 ID 및 scorerApiNames는 동일한 에이전트에 속해야 합니다.
• 실행 전에 점수 매기기 버전이 사용 가능인지 확인하십시오.

REST API

표준 작업 REST 끝점에 POST 요청을 보냅니다.

/services/data/v66.0/actions/standard/triggerAgentBulkScoring

페이로드 예:

{
  "inputs": [
    {
      "inputIds": ["019c9442-b760-7d62-837c-8ab80ecc0fc2"],
      "inputScope": "Session",
      "scorerApiNames": ["language_classifier"]
    }
  ]
}

플로에서 executeAgentforceScoresJob 호출 가능 작업을 사용합니다. 작업은 세션 ID 및 점수 매기기 목록을 수락하고 평가 파이프라인에 작업을 제출합니다. 일반적인 용도에는 다음이 포함됩니다.

• 내역 세션에 대한 실행 점수 매기기
• 배치 분석 및 사용자 정의 보고
• Agentforce 그리드와의 통합

메타데이터 API

Salesforce 메타데이터 API를 사용하여 사용자 정의 점수 매기기를 만들고 관리하여 CI/CD 파이프라인 등 프로 코드 및 DevOps 워크플로에서 점수를 배포할 수 있습니다.

사용 사례