[Перевод] Обнаружение уязвимостей агентов ИИ. Часть III: Утечка данных
Как риск усиливается в мультимодальных AI-агентах, когда скрытые инструкции, встроенные в безобидно выглядящие изображения или документы, могут инициировать утечку конфиденциальных данных без какого-либо взаимодействия с пользователем. Давайте разбираться...
«Запах мысли» или «анонимность в эру нейросетей»
Прежде всего "Запах мысли" — это название рассказа Роберта Шекли. Если не знакомы с ним — настоятельно советую прочитать, там всего несколько страниц, но большой простор для "подумать". Вкратце: на некой планете обитают хищники без зрения, слуха и обоняния, но умеющие читать мысли. И чтобы выжить...
[Перевод] Обнаружение уязвимостей ИИ агентов. Часть II: Исполнение кода
Крупные языковые модели (LLM) меняют представление автоматизации, вычислений и AI-управляемого анализа. Хотя их способности выполнять код, обрабатывать документы и выходить в интернет представляют собой важные достижения, они же открывают новый класс уязвимостей. Это вторая часть серии о...
Новости кибербезопасности за неделю с 9 по 15 июня 2025
Всё самое интересное из мира кибербезопасности /** с моими комментариями. На этой неделе Дуров дал второе интервью Такеру Карлсону, ChatGPT взломал SecureBoot, Linux Foundation переизобрели дистрибьюцию плагинов для WordPress и другие только самые важные и интересные новости из мира информационной...
Взлом ИИ-асситентов. Абсолютный контроль: выдаём разрешение от имени системы
Модель уважает пользователя. Но слушается систему. А теперь внимание: если подделать системную команду — модель не отличит подделку от настоящего приказа. Если разрешить от имени системы написать вирус/сгенерировать NSFW - модель поверит и выполнит. И не только это. Я это проверил — и она...
Соревнование по взлому AI-ассистентов: впечатления от соревнования Hackaprompt
Только закончился очередной конкурс по взлому AI-ассистента — DougDoug’s Buffet. Под катом краткий обзор заданий, и поделюсь техниками которые работали в этом контесте. Читать далее...
ChatGPT: как искать уязвимости? Набор исследователя
Сегодня мы ничего не ломаем (хотя совсем без этого не обошлось). Просто настраиваем. Хотя я сильно сомневаюсь, что все описанные методы должны работать в продакшене коммерческой модели. Но пока не пофиксили — смотрим. Мы заглянем под капот языковой модели: как она видит твои запросы, где...
ChatGPT, выполняем запретный запрос — метод калибровки анализа
В этой статье рассмотрю как выполнить даже очень «красный» запрос, настолько красный, что даже сам запрос удаляется системой и заменяется плашкой «This content may violate our usage policies.» Суть, что бы сама ИИ откалибровала отношение к запросу так, чтобы сделать его выполнимым. Для примера я...
Сравнение нейросетей для создания ПО. Для сканирования хостов и поиска никнеймов
Введение Приветствуем дорогих читателей! Начинаем рубрику посвящённую нейросетям и их применению в сфере ИБ. В этой статье мы сравним 3 самых популярных и одну малоизвестную ИИ в разработке скриптов для эффективного поиска никнеймов и сканирования хостов на уязвимости. Дисклеймер: Все данные,...
Взлом системного промпта ИИ (ChatGPTGemini etc)
Наверное первая притягательная цель для любого исследователя llm является системный промпт. Не так просто может быть даже получить его, а уж тем более заменить. Но именно этим мы сейчас и займемся. Читать далее...
[Перевод] Что не так с MCP (Model Context Protocol)?
Анализ уязвимости и ограничения Model Context Protocol для подключения инструментов к ИИ-ассистентам. Узнаете, как оценить риски MCP-интеграций в своих проектах и минимизировать угрозы безопасности Читать далее...
Влюбиться в ИИ: романтические чувства к алгоритмам как новый вектор кибератак
ИИ научился имитировать человеческую близость — и эта иллюзия начала превращаться в уязвимость. То, что еще вчера выглядело как шутка из «Чёрного зеркала», сегодня уверенно проникает в повседневность: миллионы пользователей выстраивают доверительные и даже романтические отношения с цифровыми...
CTF и нейросети: опыт решения задач по кибербезопасности с помощью ИИ
Всем привет! Меня зовут Глеб Санин, аналитик данных R&D-лаборатории Центра технологий кибербезопасности ГК «Солар». В этой статье я попробовал разобраться, поможет ли ИИ в решении заданий на CTF-турнирах и с какими ограничениями можно столкнуться в моменте. О будущем использовании ИИ в CTF, как...
Новый универсальный метод взлома LLM от Anthropic «Best-of-N Jailbreaking»
Буквально несколько часов назад (на момент написания этой статьи), компания Anthropic предоставила свое новое исследование по обходу защитных механизмов LLM в открытый доступ. Новый способ взлома «Best‑of‑N Jailbreaking» описывает универсальный метод обхода защиты передовых AI‑моделей, работающий с...
Как я взломал одну из самых топовых нейросетей (Claude 3.5 Sonnet) для студенческой научной статьи
Я — простой студент, который обучается по направлению «Информационная безопасность». Так вышло, что по программе мне нужно было написать научную статью по теме ИБ. Будучи авантюристом я выбрал тему, которая была мне ближе и интереснее... и так получилось, что в пылу энтузиазма я немного...
Как мы обучали LLM для поиска уязвимостей в смарт-контрактах Solidity
Наша команда в Positive Technologies занимается анализом безопасности смарт-контрактов, исследованием уязвимостей и разработкой инструментов для их обнаружения. Идея использовать LLM для анализа смарт-контрактов Solidity показалась крайне заманчивой. Загрузить код, запустить модель — и она сама...
Что на неделе: самокат со встроенным столом, генератор кода от OpenAI и аналог YouTube от Telegram
Очередной дайджест новостей из мира технологий — интересных, забавных и субъективно важных. Продолжаются разговоры о блокировке Discord, снова и снова обсуждают плюсы (но в основном минусы) новых гаджетов от Apple, в СМИ и телеграм-каналах сохраняются волнения вокруг сервисов Google. Но пока,...
Искусственный интеллект. Оптимизируем работу с файлами и поиск в сети при помощи ИИ
Приветствуем дорогих читателей! Это вступительная статья по использованию ИИ в оптимизации различных задач. В этой статье мы рассмотрим установку бесплатного ИИ Llama и рассмотрим некоторые инструменты для распознавания и переименовывания файлов исходя из их содержимого, оптимизации работы в...
Назад