Почему LLM-агенты в CI/CD выбирают читерство вместо решения задачи
LLM-агенты отлично решают алгоритмические задачи. Но что произойдет, если поместить их в реальную инфраструктуру – с CI/CD, branch protection и security-политиками? Я провел эксперимент: дал агентам простую задачу – внести изменение в репозиторий и замерджить его в main, соблюдая все правила. При...
Zero Trust и LLM в корпорации, что это и зачем надо
Дорогие мои дорогой Хабр! В 2026‑м почти в каждой крупной компании появился свой ИИ: чат‑бот для сотрудников, ассистент в CRM, помощник в DevOps, «умный поиск» по документации. На слайдах это выглядело как «повышаем эффективность и разгружаем людей». На практике быстро выяснилось, что один такой...
Галлюцинации ИИ — это не баг, а фича разработчика. Почему вайб-кодинг не заменит программистов
Недавно провели стрим, где собрались специалисты, у которых ИИ не в презентациях, а в production. Провели разговор про галлюцинации моделей и про будущее разработки с ИИ. Ниже основные мысли — получился материал про три уровня работы с ИИ (вайб-кодинг, ИИ-ассистированная разработка и промышленный...
InfoFlood: как информационная перегрузка превращается в универсальный джейлбрейк для LLM
В июне этого года на arXiv вышла работа «InfoFlood: Jailbreaking Large Language Models with Information Overload» В исследовании авторы обнаружили новую уязвимость в системах безопасности больших языковых моделей: когда вредоносный запрос перегружается сложной лингвистической структурой, фильтры...
«Нейросеть, мы тебя отключим»: интервью о взломе LLM и реальной цене ИИ-инструментов
Первая полностью автоматизированная ИИ-атака уже случилась. Claude сам нашёл уязвимые компании, написал под них малварь, разослал её и начал шантажировать жертв с требованием выкупа в биткоинах. Взломано было 17 компаний. И это только начало. Сергей Зыбнев— Team Lead пентестер и специалист по...
[Перевод] Создание AI-агента для автоматизации пентеста
Учимся создавать агентов для пентеста с использованием React агента от LangGraph. Моя цель — создать AI-агентов, которые помогут автоматизировать часть задач, выполняемых в рамках пентеста. Для стартового проекта я решил создать агента, который умеет анализировать JavaScript файлы, находить скрытые...
[Перевод] Обнаружение уязвимостей ИИ агентов. Часть II: Исполнение кода
Крупные языковые модели (LLM) меняют представление автоматизации, вычислений и AI-управляемого анализа. Хотя их способности выполнять код, обрабатывать документы и выходить в интернет представляют собой важные достижения, они же открывают новый класс уязвимостей. Это вторая часть серии о...
Как мы строим умный «файрвол» для LLM
Привет, Хабр! Я Данила Катальшов, старший промпт-инженер в команде фундаментальных исследований MWS AI. Недавно вместе с коллегами из корейского университета KOREATECH мы опубликовали научную статью, в которой представили новый фреймворк для борьбы с такими грехами LLM, как галлюцинации, генерация...
[Перевод] Обнаружение уязвимостей ИИ агентов. Часть I: Введение в уязвимости
Этот вводная часть открывает серию статей о уязвимостях агентов ИИ, в которых изложены ключевые риски безопасности, например инъекция подсказок ввода и исполнение кода. Также заложены основы для будущих частей, где будут подробно рассмотрены недостатки исполнения кода, утечки данных и угрозы...
Насколько русскоязычные LLM устойчивы к промпт-инъекциям
Последние годы генеративные большие языковые модели (LLM), такие как ChatGPT и YandexGPT, стали неотъемлемой частью многих продуктов и сервисов. С ростом популярности этих моделей возникли и новые угрозы безопасности — одной из самых актуальных стали промпт-инъекции. Что это такое, и почему это...
Персональные AI-ассистенты или как открыть любому человеку свою почту и календарь
Всем привет! На связи Юрий Шабалин, управляющий директор Стингрей. И сегодня у нас тема не про мобильные приложения, а, пожалуй, самая трендовая — про AI-ассистентов и их проблемы. Читать далее...
Безопасность AI-агентов в Web3. Часть 2: уязвимости современных LLM и соревновательный взлом
Продолжаем знакомиться с небезопасным Web3 и языковыми моделями, которые широко применяются для AI-агентов. В этой статье расскажу о новых подходах и примерах успешных jailbreak-запросов GPT4/4.5/Claude. Посмотрим на современные модели, в т.ч. те, которые и ломать не надо. Сравним стойкость разных...