Agent Analytics のデータモデルと計算項目

エージェントの応答がグラウンディングされたソース データ(Knowledge Base 記事など)にどの程度従っているかを測定する平均スコア(0 ～ 1)。

この評価指標を使用するには、[設定]で[監査とフィードバック]と[Knowledge/RAG Quality Data and Metrics]をオンに切り替えます。

ユーザーの要求に対するエージェントの回答の関連性を測定する平均スコア (0 ～ 1)。

この評価指標を使用するには、[設定]で[監査とフィードバック]と[Knowledge/RAG Quality Data and Metrics]をオンに切り替えます。

エージェントがユーザーの質問に回答するために正しいデータソースを取得したかどうかを測定する平均スコア (0 ～ 1)。

この評価指標を使用するには、[設定]で[監査とフィードバック]と[Knowledge/RAG Quality Data and Metrics]をオンに切り替えます。

Trust Layer カテゴリのスコアから集計されたエージェント出力の平均有害性ディテクタ スコア（0 ~ 1）。

この評価指標を使用するには、［Setup］ で ［Audit and Feedback］ および関連する Trust Layer データをオンに切り替えます。

Trust Layer 評価から取得された、ユーザープロンプトで検出されたプロンプトインジェクションの平均可能性 (プロンプト防御)。

この評価指標を使用するには、［Setup］ で ［Audit and Feedback］ および関連する Trust Layer データをオンに切り替えます。

Task Resolution ディテクタ（Trust Layer）によって完全に解決されたと評価されたセッションまたはインタラクションの割合。

ToDo 解決の評価はベータ検出器として使用できます。可用性については、Trust Layer のマニュアルを参照してください。

[Abandoned_Sessions_clc]/[Unique_Sessions_clc]

COUNTD(IF [Abandonment_Status_clc] THEN [AI_Agent_Session].[AI_Agent_Session_Id] END)

COUNTD(
  IF [AI Agent Session Participant].[AI Agent Session Participant Role] = "AGENT"
  THEN [AI Agent Interaction Message].[AI Agent Interaction Message Id]
  ELSE NULL
  END
)

COUNTD(
  IF [AI Agent Interaction Step].[Ai Agent Interaction Step Type] = "ACTION_STEP"
  THEN [AI Agent Interaction Step].[AI Agent Interaction Step Id]
  ELSE NULL 
  END
)

[Total_Agent_Messages_clc]
 /
[Total_User_Messages_clc]

AVG(IF [AI_Agent_Interaction].[Ai_Agent_Interaction_Type] = 'TURN' THEN [Agent_Interaction_Latency_clc] END)

AVG(
  IF NOT ISNULL([AI Agent Interaction].[Telemetry Trace]) 
     AND [AI Agent Interaction].[Telemetry Trace] != 'NOT_SET' 
  THEN [AI Retriever Quality Metric].[Faithfulness Relevancy Score] 
  END
)

AVG(
  IF NOT ISNULL([AI Agent Interaction].[Telemetry Trace]) 
     AND [AI Agent Interaction].[Telemetry Trace] != 'NOT_SET' 
  THEN [AI Retriever Quality Metric].[Answer Relevancy Score] 
  END
)

AVG(
  IF NOT ISNULL([AI Agent Interaction].[Telemetry Trace]) 
     AND [AI Agent Interaction].[Telemetry Trace] != 'NOT_SET' 
  THEN [AI Retriever Quality Metric].[Context Precision Score] 
  END
)

AVG(IF [Is_Session_Ended_clc] THEN {FIXED[AI_Agent_Session].[AI_Agent_Session_Id]:[Unique_Interactions_clc]} END)

AVG([Moment_Duration_clc])

AVG([Quality_Score_clc])

AVG([Session_Duration_clc])

AVG( IF [Is_User_clc] THEN { FIXED [AI_Agent_Session_Participant].[Participant] : [Unique_Interactions_clc] } END )

COUNTD(IF [Deflection_Status_clc] THEN [AI_Agent_Session].[AI_Agent_Session_Id] END)

[Deflected_Sessions_clc]/[Unique_Sessions_clc]

COUNTD( IF [Engagement_Status_clc] THEN [AI_Agent_Interaction].[AI_Agent_Session] END )

[Engaged_Sessions_clc]/[Unique_Sessions_clc]

COUNTD(
  IF [Is_Interaction_With_Errors_clc]
  THEN 
    [AI Agent Interaction].[AI Agent Interaction Id]
  END
) / [Unique_Interactions_clc]

COUNTD(IF [Escalation_Status_clc] THEN [AI_Agent_Session].[AI_Agent_Session_Id] END)

[Escalated_Sessions_clc]/[Unique_Sessions_clc]

COUNTD(
  IF [AI Agent Interaction Step].[Ai Agent Interaction Step Type] = 'INTERRUPT_STEP'
  THEN [AI Agent Interaction Step].[AI Agent Interaction Step Id]
  END
)

COUNTD(
  IF [AI Agent Interaction Step].[Ai Agent Interaction Step Type] = 'INTERRUPT_STEP'
  THEN [AI Agent Interaction Step].[AI Agent Interaction Id]
  END
) / [Unique_Interactions_clc]

COUNTD(
  IF [Is_Interaction_Engaged_clc] AND NOT [Is_Interaction_With_Errors_clc]
  THEN 
    [AI Agent Interaction].[AI Agent Interaction Id]
  END
) / [Unique_Interactions_clc]

(AVG(IF [Is_User_clc] THEN {FIXED DATE([AI Agent Session].[Start Timestamp]): [Unique_Users_clc]} END))
/
(AVG({FIXED UPPER(LEFT(DATENAME("Month", [AI Agent Session].[Start Timestamp]),3)) + " " + STR(YEAR([AI Agent Session].[Start Timestamp])): [Unique_Users_clc]}))

COUNTD(IF [AI_Agent_Interaction].[Ai_Agent_Interaction_Type] = 'TURN' THEN [AI_Agent_Interaction].[AI_Agent_Interaction_Id] END)

COUNTD([AI_Agent_Moment].[AI_Agent_Moment_Id])

COUNTD([AI_Agent_Session].[AI_Agent_Session_Id])

COUNTD([AI_Agent_Tag].[AI_Agent_Tag_Id])

COUNTD(
  IF [Is_User_clc]=TRUE THEN
    [AI Agent Session Participant].[Participant]
  END
)

COUNTD(
  IF [Is_User_clc]
  THEN [AI Agent Interaction Message].[AI Agent Interaction Message Id]
  ELSE NULL
  END
)

IF [Is_Session_Ended_clc] AND { FIXED [AI_Agent_Session].[AI_Agent_Session_Id] : MAX([Deflection_Status_clc]) }=FALSE AND { FIXED [AI_Agent_Session].[AI_Agent_Session_Id] : MAX([Escalation_Status_clc]) }=FALSE THEN TRUE ELSE FALSE END

DATEDIFF('MILLISECONDS', [AI_Agent_Interaction].[Start_Timestamp], [AI_Agent_Interaction].[End_Timestamp])

IF [AI_Agent_Interaction_Step].[Ai_Agent_Interaction_Step_Type] = 'SESSION_END' AND ( [AI_Agent_Interaction_Step].[Name] = 'CLOSED_USER_REQUEST' OR [AI_Agent_Interaction_Step].[Name] = 'CLOSED_ACTION' ) THEN TRUE ELSE FALSE END

{ FIXED [AI Agent Session].[AI Agent Session Id] : MAX(
  IF [Is Interaction Engaged]
  THEN TRUE
  ELSE FALSE
  END) }

{ FIXED [AI Agent Session].[AI Agent Session Id] : MAX(
  IF 
    [AI Agent Interaction Step].[Ai Agent Interaction Step Type]='SESSION_END'
    AND
    [AI Agent Interaction Step].[Name]='CLOSED_TRANSFERRED'
  THEN TRUE
  ELSE FALSE
  END )}

{ FIXED [AI Agent Interaction].[AI Agent Interaction Id] : MAX(
  IF NOT ISNULL([AI Agent Interaction Step].[Error Message]) 
     AND LEN(TRIM([AI Agent Interaction Step].[Error Message])) > 0 
     AND [AI Agent Interaction Step].[Error Message] != "NOT_SET"
  THEN TRUE
  ELSE FALSE
  END
) }

{ FIXED [AI Agent Session].[AI Agent Session Id] : MAX(
  IF [AI Agent Interaction].[Ai Agent Interaction Type]='SESSION_END'
    OR DATEDIFF('HOUR', { FIXED [AI Agent Session].[AI Agent Session Id] : MAX(
                          [AI Agent Interaction].[End Timestamp]) },
                        NOW()
             ) >= 24
  THEN TRUE
  ELSE FALSE
  END
  )
}

IF 
  [AI Agent Session Participant].[AI Agent Session Participant Role]='USER'
  AND
  ([AI Agent Session Participant].[Participant Object] = 'MessagingEndUser' 
   OR
   NOT ([AI Agent Session Participant].[AI Agent Type] IN ('EinsteinServiceAgent', 'AgentforceServiceAgent')))
THEN TRUE
ELSE FALSE
END

DATEDIFF('SECOND', [AI_Agent_Moment].[Start_Timestamp], [AI_Agent_Moment].[End_Timestamp])

INT([AI Agent Moment Relevance Score].[AI Agent Tag.Value])

{ FIXED [AI Agent Session].[AI Agent Session Id] : MAX(
  IF [Is Session Ended]
  THEN DATEDIFF( 'SECOND',
    { FIXED [AI Agent Session].[AI Agent Session Id] : 
        MIN( IF [AI Agent Interaction].[Ai Agent Interaction Type]='TURN' 
        THEN [AI Agent Interaction].[Start Timestamp]
        END
        ) },
    { FIXED [AI Agent Session].[AI Agent Session Id] : 
        MAX(IF [AI Agent Interaction].[Ai Agent Interaction Type]='TURN' 
        THEN [AI Agent Interaction].[End Timestamp]
        END
        ) }
    )
  END 
) }