Agentic SOC в 2026: как ИИ-агенты меняют центр мониторинга безопасности и где им нельзя доверять
Agentic SOC — это не «ещё один модный модуль с ИИ», а переход от ручной обработки инцидентов и цепочек автоматизации к более самостоятельной модели, где агенты собирают контекст, обогащают инциденты, предлагают действия и иногда запускают безопасные реакции под контролем человека. Проблема в том,...
Как Claude Opus 4.6 спас кандидата от провала: скрытые тесты в PDF и новые правила найма
Работодатель спрятал в PDF с тестовым заданием скрытую инструкцию для ИИ. Claude Opus 4.6 не только отказался ее выполнять, но и предупредил кандидата о ловушке. Разбираемся, как устроена гонка вооружений между HR и соискателями в эпоху LLM. И главное, как проверять такие документы перед работой....
Хакнуть ИИ: обзор игры «Защищ[AI]» — киберполигона для изучения промт-инъекций
ИИ-ассистенты все чаще используются не только как вспомогательные инструменты, но и как часть корпоративных процессов — с доступом к данным, внутренним системам и инфраструктуре. При этом многие защитные решения, которые кажутся надежными, на практике оказываются уязвимыми для промт-инъекций —...
Регуляторные документы РФ по безопасности ИИ — с чем мы вступаем в 2026 год
Что было интересного в 2025 году по безопасности ИИ? Помимо развития AI-агентов и их протоколов, гардрейлов, и появления фреймворков, для российского рынка важно отметить появление нескольких новых официальных документов. О них и поговорим, так как я искренне считаю, что они выводят нашу...
Сканеры ML-моделей: разбор инструментов и некоторых методов обхода их проверок
Не у всех нас имеется достаточное количество ресурсов (вычислительных, умственных и других) для проектирования и обучения моделей машинного обучения с нуля. Поэтому кажется логичным взять уже готовые модели — к счастью, за нас многое уже сделано. Для понимания масштаба: на одном только HF уже...
Как «думает» ИИ: гроккаем разреженные автоэнкодеры (SAE)
В этой статье разберём исследование от компании Anthropic, которое демонстрирует практическую возможность вскрытия «черного ящика» больших языковых моделей для обеспечения их контролируемости и безопасности с помощью разреженных автоэнкодеров (SAE - Sparse AutoEncoders). И в конце, попробуем...
AI security на практике: атаки и базовые подходы к защите
Привет, Хабр! Я Александр Лебедев, старший разработчик систем искусственного интеллекта в Innostage. В этой статье расскажу о нескольких интересных кейсах атак на ИИ-сервисы и базовых способах защиты о них. В конце попробуем запустить свой сервис и провести на нем несколько простых атак, которые...
Как построить безопасный MLOps-pipeline: Tier-уровни зрелости, принципы и реальные инструменты
На практике продакшен-модели чаще всего «падают» из-за трёх вещей: несоответствие с инфраструктурой, дрейфа данных, и ошибочного отката/обновления версии. Единый гайд по безопасной разработке ML-моделей — от хаотичного до полностью автоматизированного уровня зрелости. Что внутри: Как применять...
Проверка на Data Poisoning в MLSecOps
В первой обзорной статье про MLSecOps мы сформировали общее понимание этого нового направления в IT, узнали про основные навыки, необходимые инженерам и архитекторам MLSecOps для успешной работы, подсветили яркое будущее и перспективы этой профессии. Cсылка на статью: MLSecOps: защита машинного...
Системы оценки критичности уязвимостей в AI Security
Уязвимости в GenAI-системах - таинственное и неприступное понятие. Что это? Они вообще существуют? Существуют, конечно. Приглашаю к прочтению, если эта тема вас интересует. Расскажу, какие есть примеры уязвимостей (прям с CVE), и какие есть подходы к оценке их критичности. Читать далее...
Илон Маск заинтересовался взломом AI-агента на $50000
AI-агенты, способные самостоятельно обращаться к функциям системы для решения задач, набирают популярность. На прошлой неделе OWASP опубликовал гайд об угрозах для AI-агентов и примеры уязвимостей на базе популярных фреймворков. Участник лаборатории ИТМО AI Security Lab Александр Буянтуев предложил...