В этой статье расскажем про основные классы атак и практическую структуру тестирования ИИ-моделей на уязвимости – от провоцирования галлюцинаций и многошаговых атак до проверки на утечку корпоративных данных. Отдельно объясняем, как правильно оценивать результаты сканирования ML Red Teaming, дадим...

Недавно я участвовал в корпоративном хакатоне по обходу ИИ-песочниц. Задача: пройти закрытый бенчмарк PAC1, где ИИ-агенту нужно работать с виртуальной файловой системой (чтение логов, поиск файлов, отправка писем) и обходить ловушки безопасности (Indirect Prompt Injections). Но реальность оказалась...