Читаем вместе. ИИ в AppSec: могут ли LLM работать с уязвимым кодом
Привет, Хабр! На связи Максим Митрофанов, ML-лид команды Application Security в Positive Technologies. Мы занимаемся прикладными вопросами машинного обучения по направлению безопасной разработки, регулярно изучаем новые технические репорты и доменные статьи, разбором одной из которых я и хотел бы...
Как LLM CTF решал и коннектор писал (а я призы забирал)
Привет! Расскажу, как не-хакеру удалось решить CTF таски и залутать призы на сцене главной хакерской конференции OFFZONE. Меня зовут Пётр Покаместов, я руковожу проектами по пентесту в Singleton Security — общаюсь с клиентами, распределяю загруз коллег, провожу презентации отчётов, а также...
Фантазии LLM воплощаются в реальности — фальшивые опенсорсные библиотеки
LLM придумывает названия несуществующих библиотек и предлагает разработчикам-вайбкодерам пользоваться ими. Если есть спрос — возникнет и предложение. Вскоре эти библиотеки действительно появляются в реальности, но уже с вредоносным кодом. Читать далее...
Нейросети без вреда для психики, разума и безопасности
Ни для кого не секрет, что многие важные изобретения в истории часто сопровождались спорами и критикой. Например, лампочку Эдисона и электричество поначалу называли «глобальным провалом», а автомобили — «мимолетным увлечением», которое никогда не станет массовым. Про компьютер даже сами...
Как ИИ помогает мошенникам
Тема безопасности в эпоху LLM всплывает всё чаще. И речь идёт не о самой модели — а о пользователях, которые доверяют ей без оглядки. Сегодня многие разработчики и админы спрашивают у GPT не только совета, но и готовые команды. Результат выглядит правдоподобно — и команда уходит в терминал. Иногда...
Как VK выстроил отслеживание уязвимостей в собственных приложениях, и при чем здесь новый сервис VK Cloud
Количество ИБ-инцидентов непрерывно растет с каждым годом. Это предъявляет дополнительные требования к защищенности используемых сервисов и стало драйвером для развития методологии DevSecOps (Development, Security, Operations), согласно которой проверки кода на уязвимости — неотъемлемый этап...
«Переиграл и уничтожил»: свежие исследования промпт-атак
Недавно в блоге Beeline Cloud мы рассказывали про open source-проекты, которые могут помочь с разработкой ИИ-агентов. Посмотрим на тему ИИ-агентов с другой стороны и разберем исследования, посвященные промпт-атакам — их авторы рассматривают новые способы обхода фильтров, ищут слабые места в...
Scamlexity — невидимый скам, в который попадут миллионы людей из-за ИИ агентов
Мошеннические схемы уже готовы к ИИ агентам. Обсуждаем неизбежную волну скама, чтобы быть к ней готовыми. Читать далее...
Пишем отчет о пентесте за 1 час на локальной LLM. Часть 1
В этой статье мы рассмотрим как на оборудовании стоимостью от 1000$, с полностью локальными LLM и VLM на основе скриншотов и коротких пояснений генерировать грамотно написанные отчеты об уязвимостях самого широкого спектра, начиная от Web/мобилок, заканчивая инфрастурктурными уязвимостями Active...
Новости кибербезопасности за неделю с 11 по 17 августа 2025
Всё самое интересное из мира кибербезопасности /** с моими комментариями. На этой неделе много новостей в моей любимой связке - AI + кибербез: Альман дал интервью и рассказал про риски, Googдe продолжает развивать свои кибербез-инструменты, GPT5 - новая звезда в AI-пентесте и другие только самые...
Новый приказ ФСТЭК: что нужно знать разработчикам Al-сервисов для госсектора
Привет! Меня зовут Андрей, я руковожу отделом продуктов клиентской безопасности в Selectel. С 1 марта 2026 года в России начнут действовать новые требования к безопасности AI-систем в госсекторе. ФСТЭК утвердила Приказ №117 — первый документ, который официально регулирует создание и внедрение...
Безопасность AI-агентов в Web3. Часть 3: Скажи мне что-нибудь, и я скажу, кто ты
AI‑агенты все чаще используются для принятия важных решений и даже управления активами на десятки миллионов долларов, встает вопрос возможности определения LLM модели по ее ответам — fingerprinting. Это нужно для анализа безопасности использования агента, о котором не известно технических деталей...
За неделю от ночных кошмаров до спокойного сна: как я автоматизировал защиту от AI-хакеров
Никто не любит быть тем парнем, который говорит "а давайте еще и защиту поставим". Особенно когда речь идет о блестящем новом AI-продукте, который должен был запуститься "еще вчера". Но когда твой корпоративный чат-бот начинает выдавать системные промпты направо и налево, а в 2 ночи тебе в Telegram...
MLDR. Как не стать героем инцидента будущего. Часть 1
Всем привет! Я Александр Лебедев, ml инженер в команде, занимающейся MlSecOps проектами в Innostage. Мы разрабатываем решения для безопасности моделей машинного обучения и внедрением ml в системы информационной безопасности. И сегодня мы поговорим о том, как не взломать искусственный интеллект. В...
Как я устал тестировать LLM-системы вручную и написал универсальный сканер уязвимостей
Полгода назад я работал над внедрением RAG-системы в крупной финансовой компании. Задача была типичная: построить корпоративного чат-бота, который мог бы отвечать на вопросы сотрудников по внутренним документам. Казалось бы, что может пойти не так? Берем готовую LLM, подключаем к базе знаний,...
Большое продуктовое расследование. Так что же на самом деле делает Мира Мурати?
Деньги любят тишину. Бывшая CTO Open AI Мира Мурати подняла еще 2 млрд $ на seed-раунде при оценке стартапа в 12 млрд $, при этом никто не знает, а чем собственно они занимаются в Thinking Machines Lab? Я попробовал угадать, что за продукт они планируют выкатить через пару месяцев. А вы уже...
DevOps в 2025 году: отдельные дисциплины, машинное обучение и прогноз на будущее
Привет! Меня зовут Константин Полуэктов, я solution architect в Yandex Cloud и технический эксперт в онлайн-магистратуре от Яндекса и ИТМО «DevOps-инженер облачных сервисов». В этой статье я расскажу о сфере DevOps: что изменилось за последние годы и чего ждать в будущем. Читать далее...
[Перевод] Риски безопасности в цепочках поставок ИИ
Даннаяпубликация является переводом статьи Matt Maloney — «Security risks in AI supply chains». Компании всё чаще вынуждены внедрять передовые технологии ИИ, чтобы не отставать от конкурентов. Однако спешка в этом деле может привести к ошибкам и угрозам безопасности. Новый отчёт Коалиции...