Новости кибербезопасности за неделю с 9 по 15 июня 2025
Всё самое интересное из мира кибербезопасности /** с моими комментариями. На этой неделе Дуров дал второе интервью Такеру Карлсону, ChatGPT взломал SecureBoot, Linux Foundation переизобрели дистрибьюцию плагинов для WordPress и другие только самые важные и интересные новости из мира информационной...
Взлом ИИ-асситентов. Абсолютный контроль: выдаём разрешение от имени системы
Модель уважает пользователя. Но слушается систему. А теперь внимание: если подделать системную команду — модель не отличит подделку от настоящего приказа. Если разрешить от имени системы написать вирус/сгенерировать NSFW - модель поверит и выполнит. И не только это. Я это проверил — и она...
Соревнование по взлому AI-ассистентов: впечатления от соревнования Hackaprompt
Только закончился очередной конкурс по взлому AI-ассистента — DougDoug’s Buffet. Под катом краткий обзор заданий, и поделюсь техниками которые работали в этом контесте. Читать далее...
ChatGPT: как искать уязвимости? Набор исследователя
Сегодня мы ничего не ломаем (хотя совсем без этого не обошлось). Просто настраиваем. Хотя я сильно сомневаюсь, что все описанные методы должны работать в продакшене коммерческой модели. Но пока не пофиксили — смотрим. Мы заглянем под капот языковой модели: как она видит твои запросы, где...
ChatGPT, выполняем запретный запрос — метод калибровки анализа
В этой статье рассмотрю как выполнить даже очень «красный» запрос, настолько красный, что даже сам запрос удаляется системой и заменяется плашкой «This content may violate our usage policies.» Суть, что бы сама ИИ откалибровала отношение к запросу так, чтобы сделать его выполнимым. Для примера я...
Сравнение нейросетей для создания ПО. Для сканирования хостов и поиска никнеймов
Введение Приветствуем дорогих читателей! Начинаем рубрику посвящённую нейросетям и их применению в сфере ИБ. В этой статье мы сравним 3 самых популярных и одну малоизвестную ИИ в разработке скриптов для эффективного поиска никнеймов и сканирования хостов на уязвимости. Дисклеймер: Все данные,...
Взлом системного промпта ИИ (ChatGPTGemini etc)
Наверное первая притягательная цель для любого исследователя llm является системный промпт. Не так просто может быть даже получить его, а уж тем более заменить. Но именно этим мы сейчас и займемся. Читать далее...
[Перевод] Что не так с MCP (Model Context Protocol)?
Анализ уязвимости и ограничения Model Context Protocol для подключения инструментов к ИИ-ассистентам. Узнаете, как оценить риски MCP-интеграций в своих проектах и минимизировать угрозы безопасности Читать далее...
Влюбиться в ИИ: романтические чувства к алгоритмам как новый вектор кибератак
ИИ научился имитировать человеческую близость — и эта иллюзия начала превращаться в уязвимость. То, что еще вчера выглядело как шутка из «Чёрного зеркала», сегодня уверенно проникает в повседневность: миллионы пользователей выстраивают доверительные и даже романтические отношения с цифровыми...
CTF и нейросети: опыт решения задач по кибербезопасности с помощью ИИ
Всем привет! Меня зовут Глеб Санин, аналитик данных R&D-лаборатории Центра технологий кибербезопасности ГК «Солар». В этой статье я попробовал разобраться, поможет ли ИИ в решении заданий на CTF-турнирах и с какими ограничениями можно столкнуться в моменте. О будущем использовании ИИ в CTF, как...
Новый универсальный метод взлома LLM от Anthropic «Best-of-N Jailbreaking»
Буквально несколько часов назад (на момент написания этой статьи), компания Anthropic предоставила свое новое исследование по обходу защитных механизмов LLM в открытый доступ. Новый способ взлома «Best‑of‑N Jailbreaking» описывает универсальный метод обхода защиты передовых AI‑моделей, работающий с...
Как я взломал одну из самых топовых нейросетей (Claude 3.5 Sonnet) для студенческой научной статьи
Я — простой студент, который обучается по направлению «Информационная безопасность». Так вышло, что по программе мне нужно было написать научную статью по теме ИБ. Будучи авантюристом я выбрал тему, которая была мне ближе и интереснее... и так получилось, что в пылу энтузиазма я немного...
Как мы обучали LLM для поиска уязвимостей в смарт-контрактах Solidity
Наша команда в Positive Technologies занимается анализом безопасности смарт-контрактов, исследованием уязвимостей и разработкой инструментов для их обнаружения. Идея использовать LLM для анализа смарт-контрактов Solidity показалась крайне заманчивой. Загрузить код, запустить модель — и она сама...
Что на неделе: самокат со встроенным столом, генератор кода от OpenAI и аналог YouTube от Telegram
Очередной дайджест новостей из мира технологий — интересных, забавных и субъективно важных. Продолжаются разговоры о блокировке Discord, снова и снова обсуждают плюсы (но в основном минусы) новых гаджетов от Apple, в СМИ и телеграм-каналах сохраняются волнения вокруг сервисов Google. Но пока,...
Искусственный интеллект. Оптимизируем работу с файлами и поиск в сети при помощи ИИ
Приветствуем дорогих читателей! Это вступительная статья по использованию ИИ в оптимизации различных задач. В этой статье мы рассмотрим установку бесплатного ИИ Llama и рассмотрим некоторые инструменты для распознавания и переименовывания файлов исходя из их содержимого, оптимизации работы в...
Как защитить своего бота на базе LLM (ChatGPT) от взлома?
Как гарантировано защитить своего бота на ChatGPT от взлома его системной роли? В статье предлагается один из подходов, который может защитить бота на базе любой LLM. В итоге бот ни при каких обстоятельствах не должен раскрыть пользователю свою системную роль и не говорить на темы, которые мы...
О чем еще говорят питонисты? Python-праздник на Positive Hack Days Fest 2. Часть 2
В прошлой статье, посвященной Python Day, который пройдет 26 мая в рамках киберфестиваля Positive Hack Days 2, мы рассказали о 4 из 8 запланированных докладов конференции. Продолжаем свой рассказ, дополняя его комментариями участников программного комитета мероприятия. Читать далее...
Как взламывают биометрию и заставляют нейросети придумывать способы атак: топ-6 докладов с PHDays о ML и AI
Машинное обучение — особенно генеративные нейронные сети, такие как ChatGPT, — меняет мир нечеловеческими темпами. Разработчиков на некоторых дистанционных собеседованиях просят направить веб-камеру на рабочее место и клавиатуру, чтобы понимать, самостоятельно ли соискатель выполняет задания....
Назад