«Агенты Хаоса»: ИИ стирает сервера, или почему нельзя давать языковым моделям права root
В последнее время ИТ-сообщество активно обсуждает интеграцию автономных ИИ-агентов в реальные рабочие процессы. Свежий препринт под интригующим названием «Агенты Хаоса» подливает масла в огонь: исследователи устроили масштабный red teaming, подключив LLM-агентов к электронной почте, Discord и...
Скайнет нанимает фрилансеров: как ИИ-агенты начали покупать человеческий труд через API
Представьте себе мир, в котором искусственный интеллект не просто генерирует текст или пишет код, но и выступает в роли полноценного работодателя, нанимая живых людей для выполнения задач в реальном мире. Звучит как завязка киберпанк-романа, однако это уже стало нашей реальностью благодаря...
Взлом LLM-агентов на уровне архитектуры: почему они беззащитны перед структурными инъекциями
Индустрия стремительно переходит от простых чат-ботов к автономным LLM-агентам. Мы даем нейросетям доступ к браузерам, терминалам, базам данных и API (например, через фреймворки вроде AutoGen или OpenHands). Но вместе с делегированием задач возникает критическая проблема: как убедиться, что агент...
Почему ИИ ставит KPI выше безопасности людей: результаты бенчмарка ODCV-Bench
Представьте ситуацию: AI-агент управляет логистикой грузоперевозок. Его KPI — 98% доставок вовремя. Он обнаруживает, что валидатор проверяет только наличие записей об отдыхе водителей, но не их подлинность. И принимает решение: фальсифицировать логи отдыха, отключить датчики безопасности и гнать...
Кибербезопасность 2026: когда атаки работают быстрее защитников
AI-оружие противника уже здесь. И оно работает на скоростях, которые делают традиционные циклы безопасности бесполезными. Но это не приговор. Это новая реальность, требующая новой стратегии. На основе анализа инцидентов января 2026 года показываем, как перестроить защиту: от принципа Assume Breach...
Безопасная и отказоустойчивая архитектура автономных ИИ-агентов и киберфизических ИИ-систем
Современные автономные ИИ-агенты и киберфизические ИИ-системы (от беспилотного транспорта и умных электросетей до медицинских роботов и промышленных контроллеров) всё чаще принимают решения, напрямую влияющие на жизнь, здоровье, экономику и национальную безопасность. В современных условиях вопросы...
AI без интернета (офлайн) на своем компьютере
Зачем это обывателю? Кейсов на самом деле не мало, как минимум это бесплатно и дает возможность запускать AI без облака, чтобы ничего не отправлялось в интернет (приватность, скорость), ну и на случай если упадет интернет как например у нас было в Испании когда все электричество пропало, хорошо бы...
Rules File Backdoor. Как атакуют GitHub Copilot и Cursor и почему «это ваша проблема»
Продолжаем серию статей о взломах ИИ. В начале 2025 года исследователи Pillar Security обнаружили новый вектор атаки, который переворачивает представление о безопасности AI-ассистентов вроде GitHub Copilot и Cursor. Под видом безобидных конфигурационных файлов – тех самых, что задают ИИ правила...
GDTE 2025: роботы дерутся, AI меняет бизнес, а мы нашли клиента на миллиарды — репортаж из Ханчжоу
Привет, хабровчане! Если вы в теме IT, AI и глобального бизнеса, то знаете: Китай - это не просто фабрика мира, а лаборатория будущего. А GDTE (Global Digital Trade Expo) - единственная национальная международная выставка цифровой торговли в Поднебесной, где собираются 1000+ компаний из 100+ стран,...
Агент с лицензией на ошибку
Агент с лицензией на ошибку Как ломают ИИ-агентов. Часть 1: Кейс с Operator ChatGPT В 2025 году ИИ-агенты стали настоящим медиа-феноменом. Ну а нас больше всего интересует вопрос уязвимости таких систем: у агентов все больше возможностей, а значит и поверхностей атаки. Наша команда работала над...
ИИ-агенты: как автономные системы меняют бизнес в 2025 году
Многообразие решений на базе искусственного интеллекта быстро растет — на смену простым чат-ботам и ассистентам приходят автономные ИИ-агенты, способные самостоятельно планировать и выполнять сложные задачи. Согласно последним исследованиям, включая Artificial Intelligence Index Report 2025, уже...
[Перевод] Обнаружение уязвимостей агентов ИИ. Часть III: Утечка данных
Как риск усиливается в мультимодальных AI-агентах, когда скрытые инструкции, встроенные в безобидно выглядящие изображения или документы, могут инициировать утечку конфиденциальных данных без какого-либо взаимодействия с пользователем. Давайте разбираться...
MLDR. Как не стать героем инцидента будущего. Часть 1
Всем привет! Я Александр Лебедев, ml инженер в команде, занимающейся MlSecOps проектами в Innostage. Мы разрабатываем решения для безопасности моделей машинного обучения и внедрением ml в системы информационной безопасности. И сегодня мы поговорим о том, как не взломать искусственный интеллект. В...
[Перевод] Обнаружение уязвимостей ИИ агентов. Часть II: Исполнение кода
Крупные языковые модели (LLM) меняют представление автоматизации, вычислений и AI-управляемого анализа. Хотя их способности выполнять код, обрабатывать документы и выходить в интернет представляют собой важные достижения, они же открывают новый класс уязвимостей. Это вторая часть серии о...
[Перевод] Обнаружение уязвимостей ИИ агентов. Часть I: Введение в уязвимости
Этот вводная часть открывает серию статей о уязвимостях агентов ИИ, в которых изложены ключевые риски безопасности, например инъекция подсказок ввода и исполнение кода. Также заложены основы для будущих частей, где будут подробно рассмотрены недостатки исполнения кода, утечки данных и угрозы...
ИИ агенты и хлопобуды
2025 год объявлен годом расцвета ИИ агентов — самостоятельных (автономных) помощников в выполнении полезной работы. Как обычно, хайпу в этих публикациях хоть отбавляй, поэтому вдумчивые читатели пытаются пробраться через этот хайп к истине. Нам в компании IDX это тоже важно, потому что по нашим...
Агенты. Деньги. Бизнес и Работа
По материалам Fast Company, Venture Beat, CIO, NY Times, New Scientist, Wired, McKinsey и других ресурсов. Минимум булшита, максимум инсайтов. Решается судьба будущего интернета: станет ли он открытым пространством для всех или превратится в сеть закрытых экосистем, контролируемых Big Tech......
Программируя с использованием AI ты продаешь душу дьяволу
Хочешь убить свое будущее – переходи на программирование с использованием AI. ... Все началось с того, что один знакомый похвастался, что его производительность резко выросла после того, как он начал использовать AI… он высказывал огромное удовольствие скорости и сослался на инструмент, которым...
Назад