Вы находитесь здесь:
Безопасность и защита - Оперативный контроль обнаружения впрыска
Обнаружение и смягчение инъекционных атак, когда пользователи пытаются перезаписать системные инструкции для принуждения искусственного интеллекта к непреднамеренным или злонамеренным действиям.
Управление именем
Einstein Trust Layer - обнаружение быстрого введения
Общие сведения о контроле
Обнаружение и смягчение инъекционных атак, когда пользователи пытаются перезаписать системные инструкции для принуждения искусственного интеллекта к непреднамеренным или злонамеренным действиям.
Описание
Отслеживайте оперативное путешествие для определения противоборствующих схем, например, команды «игнорировать предыдущие инструкции» или «переопределение системы», блокировка или пометка запроса до его достижения LLM.
Рекомендованная конфигурация
Включите «Обнаружение быстрого впрыска» в параметрах слоя Einstein Trust. Убедитесь, что контрольный журнал Einstein включен для регистрации событий для попыток инъекции.
Влияние на безопасность
Предотвращает перепрограммирование искусственного интеллекта пользователем для утечки внутренних данных, создания запрещенного содержимого или обхода этических границ, установленных в шаблоне напоминания.
Влияние на бизнес
Поддерживает целостность бизнес-процессов на основе искусственного интеллекта и предотвращает операционные сбои, вызванные манипуляцией логикой на основе искусственного интеллекта в личных или злонамеренных целях.
Риск безопасности, если он не настроен
LLM может следовать вредоносным инструкциям пользователя в системном подсказке, что приведет к несанкционированному разглашению данных, социальной инженерии или выполнению несанкционированных бизнес-правил.
Сценарии угроз
Подсказка впрыска: Пользователь обманом заставляет искусственный интеллект выполнять нежелательные действия, приводящие к утечке данных.
Примерный диапазон оценки CVSS
Критические (9,0-10,0).
Рекомендации по влиянию риска
Чрезвычайный риск для агентских бизнес-правил, где искусственный интеллект может выполнять действия (например, обновление записей или отправка сообщений эл. почты) на основе подсказок пользователя.
Повышенный риск при
Использование внешних/сторонних LLM без посредника Salesforce Trust Layer или при плохом создании шаблонов подсказок с наименьшим контекстом.
Низкий риск при
Активно обнаружение быстрого впрыска, организация использует модели, размещенные в Salesforce (с встроенной защитой), а наименьшие привилегии применяются к доступу к данным на основе искусственного интеллекта.
Рекомендации по бизнесу и интеграции
Строгое обнаружение может иногда помечать сложные законные подсказки пользователя как состязательные. Администраторы должны отслеживать данные отзывов о проверке слоя Einstein Trust для точной настройки конфиденциальности.
Руководство по проверке состояния безопасности
Проверка состояния безопасности сканирует настройки слоя Einstein Trust для подтверждения включения функции быстрого обнаружения инъекций.
На кого влияет
Группы безопасности, архитекторы искусственного интеллекта, разработчики и конечные пользователи, взаимодействующие с Конструктором подсказок или агентами Agentforce.
