Регуляторные документы РФ по безопасности ИИ — с чем мы вступаем в 2026 год
Что было интересного в 2025 году по безопасности ИИ? Помимо развития AI-агентов и их протоколов, гардрейлов, и появления фреймворков, для российского рынка важно отметить появление нескольких новых официальных документов. О них и поговорим, так как я искренне считаю, что они выводят нашу...
Сканеры ML-моделей: разбор инструментов и некоторых методов обхода их проверок
Не у всех нас имеется достаточное количество ресурсов (вычислительных, умственных и других) для проектирования и обучения моделей машинного обучения с нуля. Поэтому кажется логичным взять уже готовые модели — к счастью, за нас многое уже сделано. Для понимания масштаба: на одном только HF уже...
Как «думает» ИИ: гроккаем разреженные автоэнкодеры (SAE)
В этой статье разберём исследование от компании Anthropic, которое демонстрирует практическую возможность вскрытия «черного ящика» больших языковых моделей для обеспечения их контролируемости и безопасности с помощью разреженных автоэнкодеров (SAE - Sparse AutoEncoders). И в конце, попробуем...
AI security на практике: атаки и базовые подходы к защите
Привет, Хабр! Я Александр Лебедев, старший разработчик систем искусственного интеллекта в Innostage. В этой статье расскажу о нескольких интересных кейсах атак на ИИ-сервисы и базовых способах защиты о них. В конце попробуем запустить свой сервис и провести на нем несколько простых атак, которые...
Как построить безопасный MLOps-pipeline: Tier-уровни зрелости, принципы и реальные инструменты
На практике продакшен-модели чаще всего «падают» из-за трёх вещей: несоответствие с инфраструктурой, дрейфа данных, и ошибочного отката/обновления версии. Единый гайд по безопасной разработке ML-моделей — от хаотичного до полностью автоматизированного уровня зрелости. Что внутри: Как применять...
Проверка на Data Poisoning в MLSecOps
В первой обзорной статье про MLSecOps мы сформировали общее понимание этого нового направления в IT, узнали про основные навыки, необходимые инженерам и архитекторам MLSecOps для успешной работы, подсветили яркое будущее и перспективы этой профессии. Cсылка на статью: MLSecOps: защита машинного...
Системы оценки критичности уязвимостей в AI Security
Уязвимости в GenAI-системах - таинственное и неприступное понятие. Что это? Они вообще существуют? Существуют, конечно. Приглашаю к прочтению, если эта тема вас интересует. Расскажу, какие есть примеры уязвимостей (прям с CVE), и какие есть подходы к оценке их критичности. Читать далее...
Илон Маск заинтересовался взломом AI-агента на $50000
AI-агенты, способные самостоятельно обращаться к функциям системы для решения задач, набирают популярность. На прошлой неделе OWASP опубликовал гайд об угрозах для AI-агентов и примеры уязвимостей на базе популярных фреймворков. Участник лаборатории ИТМО AI Security Lab Александр Буянтуев предложил...