생성형 AI 기본 플랫폼 보안 검토

생성형 AI 기본 플랫폼 보안에 대해 알아봅니다.

• LLM 데이터 마스킹(비Agentforce 생성형 AI 사용 가능) 제어
  프롬프트 내에서 중요한 데이터(PII, PCI 등)를 자동으로 식별하고 마스킹한 후 외부 대규모 언어 모델(LLM)로 전송합니다.
• 안전 및 안전 - 독성 감지 제어
  AI 프롬프트 및 생성된 응답을 자동으로 스캔하여 여러 범주(예: 증오 언어, 폭력, 음모)에서 유해한 언어를 식별하고 플래그를 지정하고 점수를 매깁니다.
• 안전 및 보안 - 프롬프트 주사 감지 제어
  사용자가 시스템 지침을 덮어쓰고 AI를 의도하지 않은 행동 또는 악의적인 행동으로 강제 적용하도록 시도하는 신속한 주입 공격을 감지하고 완화합니다.
• Einstein 감사, 분석 및 모니터링 설정 제어
  규정 준수, 감사, 모델 최적화를 위해 생성형 AI 프롬프트, LLM 응답, 사용자 피드백 로깅을 Data Cloud에 중앙 집중화합니다.
• 프롬프트 빌더 사용량 및 피드백 메트릭 제어
  생성 횟수 및 사용자 제출 피드백을 추적하여 특정 Einstein 프롬프트 템플릿의 채택 및 품질을 모니터링합니다.
• Einstein - Agent Analytics 제어
  자율 에이전트 상호 작용의 연속적인 수집 및 시각화를 활성화하여 성능 추적 및 ROI 측정을 활성화합니다.
• Einstein 감사 및 모니터링 - Agentforce 세션 추적 제어
  모든 상호 작용에 대한 자율 에이전트의 단계별 논리, 사고 프로세스, 도구 호출 순서를 기록합니다.