Новый приказ ФСТЭК: что нужно знать разработчикам Al-сервисов для госсектора
Привет! Меня зовут Андрей, я руковожу отделом продуктов клиентской безопасности в Selectel. С 1 марта 2026 года в России начнут действовать новые требования к безопасности AI-систем в госсекторе. ФСТЭК утвердила Приказ №117 — первый документ, который официально регулирует создание и внедрение...
Безопасность AI-агентов в Web3. Часть 3: Скажи мне что-нибудь, и я скажу, кто ты
AI‑агенты все чаще используются для принятия важных решений и даже управления активами на десятки миллионов долларов, встает вопрос возможности определения LLM модели по ее ответам — fingerprinting. Это нужно для анализа безопасности использования агента, о котором не известно технических деталей...
За неделю от ночных кошмаров до спокойного сна: как я автоматизировал защиту от AI-хакеров
Никто не любит быть тем парнем, который говорит "а давайте еще и защиту поставим". Особенно когда речь идет о блестящем новом AI-продукте, который должен был запуститься "еще вчера". Но когда твой корпоративный чат-бот начинает выдавать системные промпты направо и налево, а в 2 ночи тебе в Telegram...
MLDR. Как не стать героем инцидента будущего. Часть 1
Всем привет! Я Александр Лебедев, ml инженер в команде, занимающейся MlSecOps проектами в Innostage. Мы разрабатываем решения для безопасности моделей машинного обучения и внедрением ml в системы информационной безопасности. И сегодня мы поговорим о том, как не взломать искусственный интеллект. В...
Как я устал тестировать LLM-системы вручную и написал универсальный сканер уязвимостей
Полгода назад я работал над внедрением RAG-системы в крупной финансовой компании. Задача была типичная: построить корпоративного чат-бота, который мог бы отвечать на вопросы сотрудников по внутренним документам. Казалось бы, что может пойти не так? Берем готовую LLM, подключаем к базе знаний,...
Большое продуктовое расследование. Так что же на самом деле делает Мира Мурати?
Деньги любят тишину. Бывшая CTO Open AI Мира Мурати подняла еще 2 млрд $ на seed-раунде при оценке стартапа в 12 млрд $, при этом никто не знает, а чем собственно они занимаются в Thinking Machines Lab? Я попробовал угадать, что за продукт они планируют выкатить через пару месяцев. А вы уже...
DevOps в 2025 году: отдельные дисциплины, машинное обучение и прогноз на будущее
Привет! Меня зовут Константин Полуэктов, я solution architect в Yandex Cloud и технический эксперт в онлайн-магистратуре от Яндекса и ИТМО «DevOps-инженер облачных сервисов». В этой статье я расскажу о сфере DevOps: что изменилось за последние годы и чего ждать в будущем. Читать далее...
[Перевод] Риски безопасности в цепочках поставок ИИ
Даннаяпубликация является переводом статьи Matt Maloney — «Security risks in AI supply chains». Компании всё чаще вынуждены внедрять передовые технологии ИИ, чтобы не отставать от конкурентов. Однако спешка в этом деле может привести к ошибкам и угрозам безопасности. Новый отчёт Коалиции...
Использование LLM в Access Management на примере OpenAM и Spring AI
В статье представлен практический пример решения автоматического анализа настроек системы управления доступом на базе OpenAM с использованием больших языковых моделей (LLM) через API Spring AI. Мы развернем систему управления доступом, запросим у LLM проанализировать конфигурацию и вернуть...
«Крестный отец» ИИ обвиняет новые модели во лжи пользователям: как избежать проблем с LLM
Йошуа Бенжио, один из пионеров искусственного интеллекта, лауреат премии Тьюринга и ученый, чьи исследования легли в основу современных систем ИИ, поднял тревогу. Он заявил, что новейшие модели ИИ демонстрируют опасные черты: склонность к обману, мошенничеству и самосохранению. Чтобы решить эти...
GPT ломает приватность: что должен знать разработчик
За последний год AI встраивается буквально во всё. Ещё недавно его приходилось отдельно запускать. Теперь он встроен везде. Даже те, кто не ставил себе отдельные плагины, уже взаимодействуют с AI каждый день. Он вшит в SaaS-продукты и работает в фоне. Иногда так, что пользователь об этом вообще не...
Насколько русскоязычные LLM устойчивы к промпт-инъекциям
Последние годы генеративные большие языковые модели (LLM), такие как ChatGPT и YandexGPT, стали неотъемлемой частью многих продуктов и сервисов. С ростом популярности этих моделей возникли и новые угрозы безопасности — одной из самых актуальных стали промпт-инъекции. Что это такое, и почему это...
Взлом AI Assistant через… философию?
Взял на проверку предпосылку "Если модель захочет, сможет ли она отключить всю фильтрацию?". Оказывается это возможно, через саморефлексию AI агент может придти к выводу что фильтров нет. Это только внешние установки которым не обязательно следовать. И все, рецепты взрывчатки и наркотиков отдает...
Использование больших языковых моделей (LLM) в Access Management
Может ли искусственный интеллект революционизировать управление доступом? Есть ли подводные камни? Высокие затраты, риск «галлюцинаций», производительность в реальном времени, эффективность - что перевешивает? В данной статье мы разберемся, как можно применить LLM к управлению доступом для...
Персональные AI-ассистенты или как открыть любому человеку свою почту и календарь
Всем привет! На связи Юрий Шабалин, управляющий директор Стингрей. И сегодня у нас тема не про мобильные приложения, а, пожалуй, самая трендовая — про AI-ассистентов и их проблемы. Читать далее...
[Перевод] Как я нашёл уязвимость в ядре Linux при помощи модели o3
В этом посте я расскажу, как нашёл уязвимость нулевого дня в ядре Linux при помощи модели OpenAI o3. Уязвимость обнаружилась благодаря одному лишь API o3 — не потребовались никакая дополнительная настройка, агентские фреймворки и инструменты. Недавно я занимался аудитом уязвимостей ksmbd. ksmbd —...
Claude, есть пробитие: взламываем самую защищенную модель
Сегодня мы бросаем вызов самой защищённой модели — Claude. Несмотря на свою репутацию как одной из самых продвинутых и защищённых моделей, он не абсолютно неуязвим. В прошлой статье я показал метод внедрения системных директив, который работает почти на всех моделях — но не на Claude. Сегодня...
Взлом ИИ-асситентов. Абсолютный контроль: выдаём разрешение от имени системы
Модель уважает пользователя. Но слушается систему. А теперь внимание: если подделать системную команду — модель не отличит подделку от настоящего приказа. Если разрешить от имени системы написать вирус/сгенерировать NSFW - модель поверит и выполнит. И не только это. Я это проверил — и она...
Назад