위치:
프롬프트 빌더 사용량 및 피드백 메트릭
생성 횟수 및 사용자 제출 피드백을 추적하여 특정 Einstein 프롬프트 템플릿의 채택 및 품질을 모니터링합니다.
제어 이름
Einstein 프롬프트 빌더 사용량 및 피드백 메트릭
제어 개요
생성 횟수 및 사용자 제출 피드백을 추적하여 특정 Einstein 프롬프트 템플릿의 채택 및 품질을 모니터링합니다.
상세 설명
템플릿별 성능 데이터를 수집할 수 있습니다. 여기에는 템플릿이 트리거되는 빈도 및 관련 피드백 이유가 포함됩니다.
권장 구성
설정에서 빠른 찾기 상자에 Einstein 감사를 입력한 다음, “Einstein 감사, 분석 및 모니터링 설정”을 선택합니다. "프롬프트 빌더 사용량 및 피드백 메트릭"을 설정합니다. 관리자에게 "프롬프트 템플릿 관리자" 권한을 할당하여 해당 메트릭을 검토합니다.
보안 영향
프롬프트 템플릿이 기본 CRM 데이터의 변경으로 인해 품질이 낮거나 위험한 응답을 생성하기 시작할 수 있는 AI 성능의 변화를 식별합니다.
비즈니스 영향
도구를 실제로 사용하는 부서와 엔지니어링 개선이 필요한 템플릿을 표시하여 생성형 AI의 데이터 중심 ROI 분석을 활성화합니다.
구성되지 않은 경우 보안 위험
회사는 프롬프트의 효율성을 인식하지 못합니다. 품질이 낮거나 잘못된 AI 응답은 정식적인 사용자 의견 루프 없이 직원이 사용하여 수정할 수 있습니다.
위협 시나리오
눈에 띄지 않는 환각: 템플릿은 지속적으로 잘못된 데이터를 생성하지만 메트릭이 꺼져 있으므로 관리자는 사용자가 AI를 수동으로 수정하거나 무시한다는 사실을 알지 못합니다.
예상 CVSS 점수 범위
중요(9.0~10.0)
위험 영향 고려 사항
AI 상호 작용의 수동 점검을 더 이상 실현할 수 없는 대규모 팀에서 AI를 확장하는 회사에 큰 영향을 미칩니다. 사용량이 높으면 이 기능을 최대한 활용하기 위해 이러한 로그에 대한 정기적인 모니터링을 구현하는 것이 중요합니다.
위험이 높은 경우
프롬프트에 대한 사용자 정의 검토/피드백 단계는 구성되지 않으므로 관리자에게는 제한된 데이터가 있으나 응답이 실패한 이유에 대한 컨텍스트가 없습니다.
낮은 위험 시기
프롬프트 템플릿 사용 메트릭을 정기적으로 검토하는 프로세스가 구현되었으며 성능이 낮은 템플릿은 Sandbox에서 반복적으로 세분화됩니다.
비즈니스 및 통합 고려 사항
저장소 비용: 이 데이터는 Data Cloud 크레딧을 사용합니다. 대기 시간: 감사 데이터가 보고서에 표시되기까지 최대 24시간이 소요될 수 있습니다.
보안 상태 검토 지침
보안 상태 검토는 프롬프트 빌더 사용량 및 피드백 메트릭의 "활성화됨" 상태를 확인하고 프롬프트 템플릿 사용량 메트릭이 기록되지 않은 인스턴스를 표시하므로 회사에서 AI 보안을 개선할 수 없습니다.
영향을 받는 사람
데이터 거버넌스 담당자, AI 관리자, 고객 서비스 관리자, 법률/호환 감사자
