Промпт-инъекции в реальных данных, широкие права доступа и другие способы сломать ИИ-агента

Привет, Хабр! На связи команда Jay Guard — платформы, которая помогает безопасно использовать языковые модели и ИИ-агентов.

Недавно мы опубликовали статью про AI-агента для HR-процессов. В комментариях почти сразу появились вопросы про данные — куда уходят персональные данные, что из этого видит LLM, что пишется в логи (журнал событий) и как все это соотносится с требованиями ИБ, 152-ФЗ и внутренними регламентами.

Хорошие вопросы, и их можно дополнить. Персональные данные — это лишь один класс рисков. У агентных систем есть и другие уязвимости, которые важно учитывать при проектировании и эксплуатации. О них и поговорим.

А в конце статьи приготовили для вас практический чек-лист: можно пройтись по нему перед запуском агента и проверить, что уже закрыто, а что еще нет.

Источник: Хабрахабр