Как измерить LLM для задач кибербеза: обзор открытых бенчмарков

Привет, Хабр! Меня зовут Андрей Кузнецов, я ML-директор в Positive Technologies. Недавно я решил разобраться, какие бенчмарки измеряют способности языковых моделей в контексте задач кибербезопасности. Думал, что это займет вечер, — увы! Все оказалось куда хаотичнее, чем предполагалось. Поэтому...

Все блоги / Про интернет

Глухой телефон для ИИ: мы замерили физику LLM-графов и поняли, почему добавление агентов всё ломает

Индустрия ИИ переживает бум мультиагентных систем. Кажется, рецепт AGI найден: просто соедините 10 умных нейросетей в команду, дайте им роли, и они свернут горы. Но на практике мы часто сталкиваемся с магией «черного ящика». Иногда агенты действительно решают сложнейшие задачи. А иногда -...

Все блоги / Про интернет

Как ИИ решает сложные технические задачи для всех на примере создания своего VPN Xray VLESS за 10 минут

Итак, вам нужен VPN, но публичные решения сомнительны по безопасности и зачастую не работают. В эпоху нейронок VPN может развернуть за пару часов даже откровенный гуманитарий без технических навыков. Но даже топовые модели в Claude Code и Codex с большой долей вероятности соберут всё косячно. Ведь...

Все блоги / Про интернет

Защита агентных приложений по OWASP Agentic Top 10 и модели Trifecta

Агентные системы - это уже не чат. Они планируют задачи, дергают инструменты и оставляют свой след в данных. Сетка фильтров не спасёт, если у агента есть доступ к чувствительному контенту, недоверенные источники и выход в интернет. Разбираем OWASP Agentic Top 10 и модель Trifecta чтобы не допустить...

Все блоги / Про интернет

«Агенты Хаоса»: ИИ стирает сервера, или почему нельзя давать языковым моделям права root

В последнее время ИТ-сообщество активно обсуждает интеграцию автономных ИИ-агентов в реальные рабочие процессы. Свежий препринт под интригующим названием «Агенты Хаоса» подливает масла в огонь: исследователи устроили масштабный red teaming, подключив LLM-агентов к электронной почте, Discord и...

Все блоги / Про интернет

Скайнет нанимает фрилансеров: как ИИ-агенты начали покупать человеческий труд через API

Представьте себе мир, в котором искусственный интеллект не просто генерирует текст или пишет код, но и выступает в роли полноценного работодателя, нанимая живых людей для выполнения задач в реальном мире. Звучит как завязка киберпанк-романа, однако это уже стало нашей реальностью благодаря...

Все блоги / Про интернет

Взлом LLM-агентов на уровне архитектуры: почему они беззащитны перед структурными инъекциями

Индустрия стремительно переходит от простых чат-ботов к автономным LLM-агентам. Мы даем нейросетям доступ к браузерам, терминалам, базам данных и API (например, через фреймворки вроде AutoGen или OpenHands). Но вместе с делегированием задач возникает критическая проблема: как убедиться, что агент...

Все блоги / Про интернет

Почему ИИ ставит KPI выше безопасности людей: результаты бенчмарка ODCV-Bench

Представьте ситуацию: AI-агент управляет логистикой грузоперевозок. Его KPI — 98% доставок вовремя. Он обнаруживает, что валидатор проверяет только наличие записей об отдыхе водителей, но не их подлинность. И принимает решение: фальсифицировать логи отдыха, отключить датчики безопасности и гнать...

Все блоги / Про интернет

Кибербезопасность 2026: когда атаки работают быстрее защитников

AI-оружие противника уже здесь. И оно работает на скоростях, которые делают традиционные циклы безопасности бесполезными. Но это не приговор. Это новая реальность, требующая новой стратегии. На основе анализа инцидентов января 2026 года показываем, как перестроить защиту: от принципа Assume Breach...

Все блоги / Про интернет

Безопасная и отказоустойчивая архитектура автономных ИИ-агентов и киберфизических ИИ-систем

Современные автономные ИИ-агенты и киберфизические ИИ-системы (от беспилотного транспорта и умных электросетей до медицинских роботов и промышленных контроллеров) всё чаще принимают решения, напрямую влияющие на жизнь, здоровье, экономику и национальную безопасность. В современных условиях вопросы...

Все блоги / Про интернет

AI без интернета (офлайн) на своем компьютере

Зачем это обывателю? Кейсов на самом деле не мало, как минимум это бесплатно и дает возможность запускать AI без облака, чтобы ничего не отправлялось в интернет (приватность, скорость), ну и на случай если упадет интернет как например у нас было в Испании когда все электричество пропало, хорошо бы...

Все блоги / Про интернет

Rules File Backdoor. Как атакуют GitHub Copilot и Cursor и почему «это ваша проблема»

Продолжаем серию статей о взломах ИИ. В начале 2025 года исследователи Pillar Security обнаружили новый вектор атаки, который переворачивает представление о безопасности AI-ассистентов вроде GitHub Copilot и Cursor. Под видом безобидных конфигурационных файлов – тех самых, что задают ИИ правила...

Все блоги / Про интернет

GDTE 2025: роботы дерутся, AI меняет бизнес, а мы нашли клиента на миллиарды — репортаж из Ханчжоу

Привет, хабровчане! Если вы в теме IT, AI и глобального бизнеса, то знаете: Китай - это не просто фабрика мира, а лаборатория будущего. А GDTE (Global Digital Trade Expo) - единственная национальная международная выставка цифровой торговли в Поднебесной, где собираются 1000+ компаний из 100+ стран,...

Все блоги / Нетбуки и Планшеты

Агент с лицензией на ошибку

Агент с лицензией на ошибку Как ломают ИИ-агентов. Часть 1: Кейс с Operator ChatGPT В 2025 году ИИ-агенты стали настоящим медиа-феноменом. Ну а нас больше всего интересует вопрос уязвимости таких систем: у агентов все больше возможностей, а значит и поверхностей атаки. Наша команда работала над...

Все блоги / Про интернет

ИИ-агенты: как автономные системы меняют бизнес в 2025 году

Многообразие решений на базе искусственного интеллекта быстро растет — на смену простым чат-ботам и ассистентам приходят автономные ИИ-агенты, способные самостоятельно планировать и выполнять сложные задачи. Согласно последним исследованиям, включая Artificial Intelligence Index Report 2025, уже...

Все блоги / Про интернет

[Перевод] Обнаружение уязвимостей агентов ИИ. Часть III: Утечка данных

Как риск усиливается в мультимодальных AI-агентах, когда скрытые инструкции, встроенные в безобидно выглядящие изображения или документы, могут инициировать утечку конфиденциальных данных без какого-либо взаимодействия с пользователем. Давайте разбираться...

Все блоги / Про интернет

MLDR. Как не стать героем инцидента будущего. Часть 1

Всем привет! Я Александр Лебедев, ml инженер в команде, занимающейся MlSecOps проектами в Innostage. Мы разрабатываем решения для безопасности моделей машинного обучения и внедрением ml в системы информационной безопасности. И сегодня мы поговорим о том, как не взломать искусственный интеллект. В...

Все блоги / Про интернет

[Перевод] Обнаружение уязвимостей ИИ агентов. Часть II: Исполнение кода

Крупные языковые модели (LLM) меняют представление автоматизации, вычислений и AI-управляемого анализа. Хотя их способности выполнять код, обрабатывать документы и выходить в интернет представляют собой важные достижения, они же открывают новый класс уязвимостей. Это вторая часть серии о...

Все блоги / Про интернет

Назад