Agent Analytics의 데이터 모델 및 계산된 필드

에이전트의 응답이 기초화된 소스 데이터(예: Knowledge 자료 기사)에 얼마나 긴밀하게 부합하는지 측정하는 평균 점수(0~1)입니다.

이 메트릭을 사용하려면 설정에서 감사 및 피드백 및 Knowledge/RAG 품질 데이터 및 메트릭을 전환합니다.

사용자의 요청에 대한 에이전트의 응답 관련성을 측정하는 평균 점수(0~1)입니다.

이 메트릭을 사용하려면 설정에서 감사 및 피드백 및 Knowledge/RAG 품질 데이터 및 메트릭을 전환합니다.

에이전트가 사용자의 질문에 답변하기 위해 올바른 데이터 소스를 검색했는지 여부를 측정하는 평균 점수(0~1)입니다.

이 메트릭을 사용하려면 설정에서 감사 및 피드백 및 Knowledge/RAG 품질 데이터 및 메트릭을 전환합니다.

Agent 출력에 대한 평균 독성 검사기 점수(0–1)는 Trust Layer 범주 점수에서 집계됩니다.

이 메트릭을 사용하려면 설정에서 감사 및 피드백 및 관련 Trust 계층 데이터를 전환합니다.

Trust Layer 평가에서 추출된 사용자 프롬프트(프롬프트 방어)에서 즉시 주입할 가능성의 평균입니다.

이 메트릭을 사용하려면 설정에서 감사 및 피드백 및 관련 Trust 계층 데이터를 전환합니다.

과업 해결 감지기(Trust Layer)에서 완전히 해결됨으로 평가된 세션 또는 상호 작용 비율입니다.

과업 해결 평가는 베타 감지기로 사용할 수 있습니다. 가용성은 Trust Layer 문서를 참조하십시오.

[Abandoned_Sessions_clc]/[Unique_Sessions_clc]

COUNTD(IF [Abandonment_Status_clc] THEN [AI_Agent_Session].[AI_Agent_Session_Id] END)

COUNTD(
  IF [AI Agent Session Participant].[AI Agent Session Participant Role] = "AGENT"
  THEN [AI Agent Interaction Message].[AI Agent Interaction Message Id]
  ELSE NULL
  END
)

COUNTD(
  IF [AI Agent Interaction Step].[Ai Agent Interaction Step Type] = "ACTION_STEP"
  THEN [AI Agent Interaction Step].[AI Agent Interaction Step Id]
  ELSE NULL 
  END
)

[Total_Agent_Messages_clc]
 /
[Total_User_Messages_clc]

AVG(IF [AI_Agent_Interaction].[Ai_Agent_Interaction_Type] = 'TURN' THEN [Agent_Interaction_Latency_clc] END)

AVG(
  IF NOT ISNULL([AI Agent Interaction].[Telemetry Trace]) 
     AND [AI Agent Interaction].[Telemetry Trace] != 'NOT_SET' 
  THEN [AI Retriever Quality Metric].[Faithfulness Relevancy Score] 
  END
)

AVG(
  IF NOT ISNULL([AI Agent Interaction].[Telemetry Trace]) 
     AND [AI Agent Interaction].[Telemetry Trace] != 'NOT_SET' 
  THEN [AI Retriever Quality Metric].[Answer Relevancy Score] 
  END
)

AVG(
  IF NOT ISNULL([AI Agent Interaction].[Telemetry Trace]) 
     AND [AI Agent Interaction].[Telemetry Trace] != 'NOT_SET' 
  THEN [AI Retriever Quality Metric].[Context Precision Score] 
  END
)

AVG(IF [Is_Session_Ended_clc] THEN {FIXED[AI_Agent_Session].[AI_Agent_Session_Id]:[Unique_Interactions_clc]} END)

AVG([Moment_Duration_clc])

AVG([Quality_Score_clc])

AVG([Session_Duration_clc])

AVG( IF [Is_User_clc] THEN { FIXED [AI_Agent_Session_Participant].[Participant] : [Unique_Interactions_clc] } END )

COUNTD(IF [Deflection_Status_clc] THEN [AI_Agent_Session].[AI_Agent_Session_Id] END)

[Deflected_Sessions_clc]/[Unique_Sessions_clc]

COUNTD( IF [Engagement_Status_clc] THEN [AI_Agent_Interaction].[AI_Agent_Session] END )

[Engaged_Sessions_clc]/[Unique_Sessions_clc]

COUNTD(
  IF [Is_Interaction_With_Errors_clc]
  THEN 
    [AI Agent Interaction].[AI Agent Interaction Id]
  END
) / [Unique_Interactions_clc]

COUNTD(IF [Escalation_Status_clc] THEN [AI_Agent_Session].[AI_Agent_Session_Id] END)

[Escalated_Sessions_clc]/[Unique_Sessions_clc]

COUNTD(
  IF [AI Agent Interaction Step].[Ai Agent Interaction Step Type] = 'INTERRUPT_STEP'
  THEN [AI Agent Interaction Step].[AI Agent Interaction Step Id]
  END
)

COUNTD(
  IF [AI Agent Interaction Step].[Ai Agent Interaction Step Type] = 'INTERRUPT_STEP'
  THEN [AI Agent Interaction Step].[AI Agent Interaction Id]
  END
) / [Unique_Interactions_clc]

COUNTD(
  IF [Is_Interaction_Engaged_clc] AND NOT [Is_Interaction_With_Errors_clc]
  THEN 
    [AI Agent Interaction].[AI Agent Interaction Id]
  END
) / [Unique_Interactions_clc]

(AVG(IF [Is_User_clc] THEN {FIXED DATE([AI Agent Session].[Start Timestamp]): [Unique_Users_clc]} END))
/
(AVG({FIXED UPPER(LEFT(DATENAME("Month", [AI Agent Session].[Start Timestamp]),3)) + " " + STR(YEAR([AI Agent Session].[Start Timestamp])): [Unique_Users_clc]}))

COUNTD(IF [AI_Agent_Interaction].[Ai_Agent_Interaction_Type] = 'TURN' THEN [AI_Agent_Interaction].[AI_Agent_Interaction_Id] END)

COUNTD([AI_Agent_Moment].[AI_Agent_Moment_Id])

COUNTD([AI_Agent_Session].[AI_Agent_Session_Id])

COUNTD([AI_Agent_Tag].[AI_Agent_Tag_Id])

COUNTD(
  IF [Is_User_clc]=TRUE THEN
    [AI Agent Session Participant].[Participant]
  END
)

COUNTD(
  IF [Is_User_clc]
  THEN [AI Agent Interaction Message].[AI Agent Interaction Message Id]
  ELSE NULL
  END
)

IF [Is_Session_Ended_clc] AND { FIXED [AI_Agent_Session].[AI_Agent_Session_Id] : MAX([Deflection_Status_clc]) }=FALSE AND { FIXED [AI_Agent_Session].[AI_Agent_Session_Id] : MAX([Escalation_Status_clc]) }=FALSE THEN TRUE ELSE FALSE END

DATEDIFF('MILLISECONDS', [AI_Agent_Interaction].[Start_Timestamp], [AI_Agent_Interaction].[End_Timestamp])

IF [AI_Agent_Interaction_Step].[Ai_Agent_Interaction_Step_Type] = 'SESSION_END' AND ( [AI_Agent_Interaction_Step].[Name] = 'CLOSED_USER_REQUEST' OR [AI_Agent_Interaction_Step].[Name] = 'CLOSED_ACTION' ) THEN TRUE ELSE FALSE END

{ FIXED [AI Agent Session].[AI Agent Session Id] : MAX(
  IF [Is Interaction Engaged]
  THEN TRUE
  ELSE FALSE
  END) }

{ FIXED [AI Agent Session].[AI Agent Session Id] : MAX(
  IF 
    [AI Agent Interaction Step].[Ai Agent Interaction Step Type]='SESSION_END'
    AND
    [AI Agent Interaction Step].[Name]='CLOSED_TRANSFERRED'
  THEN TRUE
  ELSE FALSE
  END )}

{ FIXED [AI Agent Interaction].[AI Agent Interaction Id] : MAX(
  IF NOT ISNULL([AI Agent Interaction Step].[Error Message]) 
     AND LEN(TRIM([AI Agent Interaction Step].[Error Message])) > 0 
     AND [AI Agent Interaction Step].[Error Message] != "NOT_SET"
  THEN TRUE
  ELSE FALSE
  END
) }

{ FIXED [AI Agent Session].[AI Agent Session Id] : MAX(
  IF [AI Agent Interaction].[Ai Agent Interaction Type]='SESSION_END'
    OR DATEDIFF('HOUR', { FIXED [AI Agent Session].[AI Agent Session Id] : MAX(
                          [AI Agent Interaction].[End Timestamp]) },
                        NOW()
             ) >= 24
  THEN TRUE
  ELSE FALSE
  END
  )
}

IF 
  [AI Agent Session Participant].[AI Agent Session Participant Role]='USER'
  AND
  ([AI Agent Session Participant].[Participant Object] = 'MessagingEndUser' 
   OR
   NOT ([AI Agent Session Participant].[AI Agent Type] IN ('EinsteinServiceAgent', 'AgentforceServiceAgent')))
THEN TRUE
ELSE FALSE
END

DATEDIFF('SECOND', [AI_Agent_Moment].[Start_Timestamp], [AI_Agent_Moment].[End_Timestamp])

INT([AI Agent Moment Relevance Score].[AI Agent Tag.Value])

{ FIXED [AI Agent Session].[AI Agent Session Id] : MAX(
  IF [Is Session Ended]
  THEN DATEDIFF( 'SECOND',
    { FIXED [AI Agent Session].[AI Agent Session Id] : 
        MIN( IF [AI Agent Interaction].[Ai Agent Interaction Type]='TURN' 
        THEN [AI Agent Interaction].[Start Timestamp]
        END
        ) },
    { FIXED [AI Agent Session].[AI Agent Session Id] : 
        MAX(IF [AI Agent Interaction].[Ai Agent Interaction Type]='TURN' 
        THEN [AI Agent Interaction].[End Timestamp]
        END
        ) }
    )
  END 
) }