Взлом LLM-агентов на уровне архитектуры: почему они беззащитны перед структурными инъекциями
Индустрия стремительно переходит от простых чат-ботов к автономным LLM-агентам. Мы даем нейросетям доступ к браузерам, терминалам, базам данных и API (например, через фреймворки вроде AutoGen или OpenHands). Но вместе с делегированием задач возникает критическая проблема: как убедиться, что агент...
Zero Trust и LLM в корпорации, что это и зачем надо
Дорогие мои дорогой Хабр! В 2026‑м почти в каждой крупной компании появился свой ИИ: чат‑бот для сотрудников, ассистент в CRM, помощник в DevOps, «умный поиск» по документации. На слайдах это выглядело как «повышаем эффективность и разгружаем людей». На практике быстро выяснилось, что один такой...
Атаки на AI-агенты: примеры угроз и опыт участия в Agent Breaker CTF
Привет! Мы в Positive Technologies активно исследуем безопасность AI-агентов и подходы offensive AI security. Мир стремительно движется к повсеместному использованию LLM-агентов, автономных агентов и интеграций через MCP/Toolcalls — а значит, растет и пространство атак. Эта статья содержит разбор...
Вайб-кодинг уязвимостей или как AI роняет безопасность
Писать код с LLM — очень легко, просто и весело. Не нужно мучаться с документацией, не нужно фиксить баги. Вообще ничего не нужно. Только инструкцию в чат написать. Раз-два — и всё готово. Заманчиво? Да. Но у всего есть цена — и про неё важно помнить. Сейчас разберём, как именно AI-агенты могут...
Как ИИ помогает мошенникам
Тема безопасности в эпоху LLM всплывает всё чаще. И речь идёт не о самой модели — а о пользователях, которые доверяют ей без оглядки. Сегодня многие разработчики и админы спрашивают у GPT не только совета, но и готовые команды. Результат выглядит правдоподобно — и команда уходит в терминал. Иногда...
Современные уязвимости современных LLM-агентов
На первый взгляд, современные ИИ-модели кажутся надёжно защищёнными: строгие ограничения, фильтры и чётко заданные сценарии взаимодействия с пользователем. Однако реальность быстро меняется. Всё чаще исследователи и энтузиасты сталкиваются с атаками, которые позволяют обойти эти защитные меры. В...
Исследование уязвимостей LLM-агентов: опыт Red Teaming
Привет, Хабр! Сначала об определениях. LLM Red teaming — практика тестирования больших языковых моделей (например, GPT), направленная на выявление уязвимостей, нежелательного поведения и способов их взлома (jailbreak). Суть в том, чтобы через специальные подсказки или методы обойти защитные...