От правил корреляции к когнитивному ассистенту: что меняется в архитектуре SOC с приходом ИИ
Почему правил корреляции больше недостаточно? Долгое время ядром любого центра мониторинга и реагирования на киберугрозы (далее по тексту – SOC) оставался корреляционный движок, то есть набор правил для автоматизированного поиска паттернов атак, например "5 неудачных входов" + "успешный вход" +...
Глухой телефон для ИИ: мы замерили физику LLM-графов и поняли, почему добавление агентов всё ломает
Индустрия ИИ переживает бум мультиагентных систем. Кажется, рецепт AGI найден: просто соедините 10 умных нейросетей в команду, дайте им роли, и они свернут горы. Но на практике мы часто сталкиваемся с магией «черного ящика». Иногда агенты действительно решают сложнейшие задачи. А иногда -...
Как AI-фильтр удалил мой блог навсегда — что это говорит о будущем модерации
AI-фильтр удалил мой блог и навсегда заблокировал аккаунт — без объяснений... Разбираю, как работает автоматическая модерация, почему она ошибается и кто в итоге отвечает за такие решения. Читать далее...
Prompt injection для смелых духом: от zero-click атаки на 1.4B устройств до философского джейлбрейка
SQL-инъекцию мы лечили 20 лет и вылечили. Prompt injection — фундаментально нерешаема. Это не я придумал. OWASP ставит её на первое место второй год подряд. Найдена в 73% продакшн AI-систем при аудитах. Вы не за статистикой сюда пришли. Вы пришли за мясом. Ниже — 10 кейсов, которые не попали в...
Сублиминальное обучение и инерция весов: Почему нейросети помнят то, что должны были забыть
В предыдущей статье я рассматривал феномен сублиминального обучения, но вопросов было больше, чем ответов. Пришло время разобрать его подробнее. Эксперименты и код ниже. В задачах AI Alignment и безопасности LLM остается актуальным вопрос: является ли дообучение (Fine-tuning) или обучение с...
AI-безопасность: зачем нужен слой на C рядом с Python-детекторами
Python-решения для AI-безопасности добавляют 50-200мс задержки и сотни зависимостей. SENTINEL Shield — слой на чистом C: 0 зависимостей,...
ИИ в инфобезе: от генерации фишинга до анализа уязвимостей
Искусственный интеллект (ИИ) меняет мир быстрее, чем мы успеваем к этому привыкнуть — от генерации картин и текстов до управления машинами и защитных систем. Теперь он добрался и до киберпространства, где стал оружием и для специалистов по безопасности, и для хакеров. Большие языковые модели вроде...
Безопасность — это не отсутствие структуры, а наличие правильной структуры: топология как новый язык науки
В этой статье мы рассмотрим, как топологические методы меняют или будут менять наше понимание безопасности. Мы увидим, что безопасность не достигается через максимальную случайность, а через специфическую, строго определенную топологическую структуру — тор с максимальной энтропией. Это не просто...
Как я автоматизировал анализ логов из Kibana с помощью LLM и AI-агентов
Инструменты вроде OpenSearch, Elastic или Kibana давно стали стандартом для поиска и визуализации логов благодаря удобству и мощной поисковой системе. Однако, когда речь заходит о сложном анализе — агрегациях, парсинге, выявлении сложных закономерностей — их встроенные средства быстро достигают...
Почему молчит умный счетчик? Побеждаем коллизии в сетях NB-IoT
IoT-сети проектировали для миллионов устройств, но они захлебываются уже от тысяч. Когда в нашем районе на секунду моргнул свет, 10 000 умных счетчиков одновременно потеряли связь и начали переподключаться. Три четверти так и не смогли выйти в эфир. Проблема в RACH — канале случайного доступа. При...
Алгоритм поиска аномалий Isolation Forest
Привет, Хабр! Меня зовут Михаил Васильев, я старший специалист по машинному обучению в компании Makves (входит в группу компаний «Гарда»). Эта статья — вторая в цикле, посвященном поиску аномалий. В первой статье мы поговорили о том, что такое аномалии и почему их сложно искать, а также по шагам...
Обратная сторона ИИ: подводные камни передачи процессов нейросетям
Искусственный интеллект потихоньку делает жизнь проще, но он же становится источником рисков, особенно когда речь идет о нейросетях как о новом подрядчике. Когда компании их интегрируют, не всегда получается досконально продумать то, чем это может быть чревато. Сегодня я пытаюсь понять реальные...
Атаки с использованием дипфейк-вишинга: как они работают и почему их сложно остановить
Голосовые атаки с применением искусственного интеллекта, или дипфейк-вишинг, становятся все более изощренным инструментом киберпреступников. Представьте: вам звонит человек с голосом вашего коллеги, родственника или даже генерального директора, умоляя срочно перевести деньги или раскрыть...
За неделю от ночных кошмаров до спокойного сна: как я автоматизировал защиту от AI-хакеров
Никто не любит быть тем парнем, который говорит "а давайте еще и защиту поставим". Особенно когда речь идет о блестящем новом AI-продукте, который должен был запуститься "еще вчера". Но когда твой корпоративный чат-бот начинает выдавать системные промпты направо и налево, а в 2 ночи тебе в Telegram...
Как я устал тестировать LLM-системы вручную и написал универсальный сканер уязвимостей
Полгода назад я работал над внедрением RAG-системы в крупной финансовой компании. Задача была типичная: построить корпоративного чат-бота, который мог бы отвечать на вопросы сотрудников по внутренним документам. Казалось бы, что может пойти не так? Берем готовую LLM, подключаем к базе знаний,...
Как мы строим антифрод в анонимных крипто-свапалках: опыт и грабли
Когда речь заходит о криптовалютных свапалках и анонимных DEX, безопасность становится не просто приоритетом, а настоящим вызовом. Отсутствие централизованной модерации и KYC-процедур ставит перед разработчиками задачу создать эффективные системы, которые могут обнаруживать и предотвращать...
Проверка на Data Poisoning в MLSecOps
В первой обзорной статье про MLSecOps мы сформировали общее понимание этого нового направления в IT, узнали про основные навыки, необходимые инженерам и архитекторам MLSecOps для успешной работы, подсветили яркое будущее и перспективы этой профессии. Cсылка на статью: MLSecOps: защита машинного...
AI Security с французским привкусом или разбор Securing Artificial Intelligence от ETSI. Часть 1
Технологии искусственного интеллекта стремительно развиваются, но вместе с возможностями появляются и риски. Промпт‑инъекции, злоупотребление инструментами агентов, уязвимости в оркестрации сложных систем — спектр угроз для ИИ увеличивается. Пока США и Китай соревнуются в эффективности и качестве...
Назад