Qwen3Guard: следующий шаг в модерации и контроле контента
Всем привет! Меня зовут Миша Мартьянов, я инженер по исследованиям и разработке в лаборатории AI R&D в red_mad_robot. В мои задачи входит проверка гипотез и развитие наших продуктов. Однако недостаточно просто улучшать продукты, необходимо также чтобы они работали устойчиво и безопасно. Ранее я...
AI security на практике: атаки и базовые подходы к защите
Привет, Хабр! Я Александр Лебедев, старший разработчик систем искусственного интеллекта в Innostage. В этой статье расскажу о нескольких интересных кейсах атак на ИИ-сервисы и базовых способах защиты о них. В конце попробуем запустить свой сервис и провести на нем несколько простых атак, которые...
[Перевод] Ваш антивирус мёртв. Его убил искусственный интеллект
Сегодня, просматривая новости из мира ИИ, я наткнулась на статью о вредоносной программе под названием PROMPTFLUX, которая, как выяснилось, каждый час переписывает свой собственный исходный код, обращаясь за помощью к искусственному интеллекту. Вы можете себе такое представить? Совсем недавно я...
Будущее центров мониторинга: как искусственный интеллект меняет ландшафт кибербезопасности
За последние годы Security Operations Center (SOC, Центр мониторинга безопасности) прошел путь от ручных операций и анализа единичных событий к системному мониторингу угроз и активной автоматизации. Сегодня на первый план выходят инструменты на базе искусственного интеллекта (ИИ), которые не просто...
Top 10 угроз для Agentic AI
Пока мы обсуждали, prompt injections в LLM, хакеры перешли к атакам на агентные AI-системы. Если обычные LLM-приложения работают по принципу «запрос-ответ», то агентные AI-системы действуют автономно: запоминают информацию между сессиями, самостоятельно выбирают, какие инструменты использовать,...
Домашний супер-компьютер для ИИ: какой выбрать в 2025?
Вполне возможно, что в этом году происходит зарождение нового тренда. Он заключается в переносе вычислительных мощностей ближе к пользователю - прямо домой, на его личную вычислительную станцию. Похоже, что большие языковые моделей (LLM) и генеративный ИИ перестают быть прерогативой дата-центров. В...
OWASP Top 10 для LLM: разбор угроз
LLM встраивают в продакшн-системы, но подходят к ним как к обычным библиотекам — подключил API и забыл. Проблема в том, что языковая модель выполняет инструкции из пользовательского ввода, генерирует код, обращается к базам данных. Если не учитывать специфику этих систем, можно получить утечку...
[Перевод] Когда ваш ИИ-браузер становится вашим врагом: катастрофа безопасности Comet. Мнение колумниста Venture Beat
Помните времена, когда браузеры были простыми? Нажимаешь на ссылку — страница загружается, может, заполняешь форму, и всё. Теперь ситуация изменилась: ИИ-браузеры вроде Comet от Perplexity обещают сделать всё за вас — кликать, печатать, думать и даже выбирать. Но вот неожиданный поворот: этот...
От экспериментов с ИИ до AI-Native: уровни зрелости и архитектура. Часть 2
Всем привет! Это продолжение статьи о трансформации подхода к использованию ИИ — от базового применения к AI-Native. В первой части мы разобрали уровни зрелости искусственного интеллекта, ключевые этапы ИИ-трансформации и классификацию приложений и модальностей LLM. Читать первую часть Во второй...
Bug2Lab превращаем баги с помощью AI в образование в CyberSec
Современное образование безопасной разработке выглядит крайне уныло: Баги старых годов оторванные от реальности, лабораторные на которые везде можно найти прохождение. Уявзимости появляются крайне быстро а делать под них стенды крайне дорого и долго. Сегодня расскажу как решаем эту проблему Читать...
Искусственный интеллект в кибербезопасности: баланс угроз и защитных технологий
В ближайшее время почти четверть всех утечек данных будет связана с внедрением искусственного интеллекта. Этот вывод из исследования Б1 как нельзя лучше иллюстрирует новую реальность, в которой ИИ становится рабочим инструментом злоумышленников. По данным совместного опроса VK и агентства...
Как я автоматизировал анализ логов из Kibana с помощью LLM и AI-агентов
Инструменты вроде OpenSearch, Elastic или Kibana давно стали стандартом для поиска и визуализации логов благодаря удобству и мощной поисковой системе. Однако, когда речь заходит о сложном анализе — агрегациях, парсинге, выявлении сложных закономерностей — их встроенные средства быстро достигают...
С ИИ всё стало умным, в том числе и… малварь — история появления GenAI-полиморфных-вирусов
Все мы слышали про FraudGPT и WormGPT, и про такие атаки как Morris II, imprompter, EchoLeak. Но это все детский сад, или даже скрипткиддерство. А что насчет использования генеративных способностей LLM в целях киберпреступности в автоматизированном режиме? Да, нарушители используют GenAI-модели для...
Ювелирная работа, или Как мы разрабатывали Умное кольцо Sber (часть 1)
Салют, Хабр! Мы официально запустили продажи Умного кольца Sber — устройства, которое помогает владельцу следить за показателями своего организма, вовремя замечать отклонения и улучшать свою жизнь. Это первый продукт Sber в сегменте носимой электроники и, в частности, wellness-электроники, поэтому...
Neuro Scale 2025: как Яндекс собирает облако будущего
24 сентября прошла конференция Yandex Neuro Scale 2025 — главное событие Yandex Cloud, собравшее более 10 000 участников онлайн и офлайн. Переименование флагманской конференции с Yandex Scale на Yandex Neuro Scale отражает стратегический поворот компании к искусственному интеллекту как ключевому...
Как LLM CTF решал и коннектор писал (а я призы забирал)
Привет! Расскажу, как не-хакеру удалось решить CTF таски и залутать призы на сцене главной хакерской конференции OFFZONE. Меня зовут Пётр Покаместов, я руковожу проектами по пентесту в Singleton Security — общаюсь с клиентами, распределяю загруз коллег, провожу презентации отчётов, а также...
Рынок цифровых AI-Компаньонов: эволюция, метрики и инсайты
Привет! Это Лиза Скрыль, продакт-менеджер в NDT by red_mad_robot. Мы исследовали рынок AI-компаньонов и хотим поделиться инсайтами о том, как формируется эта новая потребительская категория. Читать далее...
Как мы разрабатывали интеллектуальное устройство SberBoom Micro
Салют, Хабр! Я Артур, CPO умных колонок Sber. Сегодня мы представили новое поколение умных устройств Sber с искусственным интеллектом GigaChat — колонку SberBoom Micro. Это самая маленькая из всех колонок семейства Sber, при этом с новой функцией, которая позволяет сделать умной обычную...