Как измерить LLM для задач кибербеза: обзор открытых бенчмарков
Привет, Хабр! Меня зовут Андрей Кузнецов, я ML-директор в Positive Technologies. Недавно я решил разобраться, какие бенчмарки измеряют способности языковых моделей в контексте задач кибербезопасности. Думал, что это займет вечер, — увы! Все оказалось куда хаотичнее, чем предполагалось. Поэтому...
Глухой телефон для ИИ: мы замерили физику LLM-графов и поняли, почему добавление агентов всё ломает
Индустрия ИИ переживает бум мультиагентных систем. Кажется, рецепт AGI найден: просто соедините 10 умных нейросетей в команду, дайте им роли, и они свернут горы. Но на практике мы часто сталкиваемся с магией «черного ящика». Иногда агенты действительно решают сложнейшие задачи. А иногда -...
Как ИИ решает сложные технические задачи для всех на примере создания своего VPN Xray VLESS за 10 минут
Итак, вам нужен VPN, но публичные решения сомнительны по безопасности и зачастую не работают. В эпоху нейронок VPN может развернуть за пару часов даже откровенный гуманитарий без технических навыков. Но даже топовые модели в Claude Code и Codex с большой долей вероятности соберут всё косячно. Ведь...
Защита агентных приложений по OWASP Agentic Top 10 и модели Trifecta
Агентные системы - это уже не чат. Они планируют задачи, дергают инструменты и оставляют свой след в данных. Сетка фильтров не спасёт, если у агента есть доступ к чувствительному контенту, недоверенные источники и выход в интернет. Разбираем OWASP Agentic Top 10 и модель Trifecta чтобы не допустить...
«Агенты Хаоса»: ИИ стирает сервера, или почему нельзя давать языковым моделям права root
В последнее время ИТ-сообщество активно обсуждает интеграцию автономных ИИ-агентов в реальные рабочие процессы. Свежий препринт под интригующим названием «Агенты Хаоса» подливает масла в огонь: исследователи устроили масштабный red teaming, подключив LLM-агентов к электронной почте, Discord и...
Скайнет нанимает фрилансеров: как ИИ-агенты начали покупать человеческий труд через API
Представьте себе мир, в котором искусственный интеллект не просто генерирует текст или пишет код, но и выступает в роли полноценного работодателя, нанимая живых людей для выполнения задач в реальном мире. Звучит как завязка киберпанк-романа, однако это уже стало нашей реальностью благодаря...
Взлом LLM-агентов на уровне архитектуры: почему они беззащитны перед структурными инъекциями
Индустрия стремительно переходит от простых чат-ботов к автономным LLM-агентам. Мы даем нейросетям доступ к браузерам, терминалам, базам данных и API (например, через фреймворки вроде AutoGen или OpenHands). Но вместе с делегированием задач возникает критическая проблема: как убедиться, что агент...
Почему ИИ ставит KPI выше безопасности людей: результаты бенчмарка ODCV-Bench
Представьте ситуацию: AI-агент управляет логистикой грузоперевозок. Его KPI — 98% доставок вовремя. Он обнаруживает, что валидатор проверяет только наличие записей об отдыхе водителей, но не их подлинность. И принимает решение: фальсифицировать логи отдыха, отключить датчики безопасности и гнать...
Кибербезопасность 2026: когда атаки работают быстрее защитников
AI-оружие противника уже здесь. И оно работает на скоростях, которые делают традиционные циклы безопасности бесполезными. Но это не приговор. Это новая реальность, требующая новой стратегии. На основе анализа инцидентов января 2026 года показываем, как перестроить защиту: от принципа Assume Breach...
Безопасная и отказоустойчивая архитектура автономных ИИ-агентов и киберфизических ИИ-систем
Современные автономные ИИ-агенты и киберфизические ИИ-системы (от беспилотного транспорта и умных электросетей до медицинских роботов и промышленных контроллеров) всё чаще принимают решения, напрямую влияющие на жизнь, здоровье, экономику и национальную безопасность. В современных условиях вопросы...
AI без интернета (офлайн) на своем компьютере
Зачем это обывателю? Кейсов на самом деле не мало, как минимум это бесплатно и дает возможность запускать AI без облака, чтобы ничего не отправлялось в интернет (приватность, скорость), ну и на случай если упадет интернет как например у нас было в Испании когда все электричество пропало, хорошо бы...
Rules File Backdoor. Как атакуют GitHub Copilot и Cursor и почему «это ваша проблема»
Продолжаем серию статей о взломах ИИ. В начале 2025 года исследователи Pillar Security обнаружили новый вектор атаки, который переворачивает представление о безопасности AI-ассистентов вроде GitHub Copilot и Cursor. Под видом безобидных конфигурационных файлов – тех самых, что задают ИИ правила...
GDTE 2025: роботы дерутся, AI меняет бизнес, а мы нашли клиента на миллиарды — репортаж из Ханчжоу
Привет, хабровчане! Если вы в теме IT, AI и глобального бизнеса, то знаете: Китай - это не просто фабрика мира, а лаборатория будущего. А GDTE (Global Digital Trade Expo) - единственная национальная международная выставка цифровой торговли в Поднебесной, где собираются 1000+ компаний из 100+ стран,...
Агент с лицензией на ошибку
Агент с лицензией на ошибку Как ломают ИИ-агентов. Часть 1: Кейс с Operator ChatGPT В 2025 году ИИ-агенты стали настоящим медиа-феноменом. Ну а нас больше всего интересует вопрос уязвимости таких систем: у агентов все больше возможностей, а значит и поверхностей атаки. Наша команда работала над...
ИИ-агенты: как автономные системы меняют бизнес в 2025 году
Многообразие решений на базе искусственного интеллекта быстро растет — на смену простым чат-ботам и ассистентам приходят автономные ИИ-агенты, способные самостоятельно планировать и выполнять сложные задачи. Согласно последним исследованиям, включая Artificial Intelligence Index Report 2025, уже...
[Перевод] Обнаружение уязвимостей агентов ИИ. Часть III: Утечка данных
Как риск усиливается в мультимодальных AI-агентах, когда скрытые инструкции, встроенные в безобидно выглядящие изображения или документы, могут инициировать утечку конфиденциальных данных без какого-либо взаимодействия с пользователем. Давайте разбираться...
MLDR. Как не стать героем инцидента будущего. Часть 1
Всем привет! Я Александр Лебедев, ml инженер в команде, занимающейся MlSecOps проектами в Innostage. Мы разрабатываем решения для безопасности моделей машинного обучения и внедрением ml в системы информационной безопасности. И сегодня мы поговорим о том, как не взломать искусственный интеллект. В...
[Перевод] Обнаружение уязвимостей ИИ агентов. Часть II: Исполнение кода
Крупные языковые модели (LLM) меняют представление автоматизации, вычислений и AI-управляемого анализа. Хотя их способности выполнять код, обрабатывать документы и выходить в интернет представляют собой важные достижения, они же открывают новый класс уязвимостей. Это вторая часть серии о...
Назад