GPT ломает приватность: что должен знать разработчик
За последний год AI встраивается буквально во всё. Ещё недавно его приходилось отдельно запускать. Теперь он встроен везде. Даже те, кто не ставил себе отдельные плагины, уже взаимодействуют с AI каждый день. Он вшит в SaaS-продукты и работает в фоне. Иногда так, что пользователь об этом вообще не...
Современные уязвимости современных LLM-агентов
На первый взгляд, современные ИИ-модели кажутся надёжно защищёнными: строгие ограничения, фильтры и чётко заданные сценарии взаимодействия с пользователем. Однако реальность быстро меняется. Всё чаще исследователи и энтузиасты сталкиваются с атаками, которые позволяют обойти эти защитные меры. В...
[Перевод] Как я использовал ИИ для создания рабочего эксплойта для CVE-2025-32433 до появления публичных PoC
Может ли ИИ просто написать эксплойт за меня? GPT-4 не только понял описание CVE, но и выяснил, какой коммит ввел исправление, сравнил его со старым кодом, нашел разницу, нашел уязвимость и даже написал доказательство концепции. Давайте рассмотрим, как я к этому пришел. Читать далее...
Исследование уязвимостей LLM-агентов: опыт Red Teaming
Привет, Хабр! Сначала об определениях. LLM Red teaming — практика тестирования больших языковых моделей (например, GPT), направленная на выявление уязвимостей, нежелательного поведения и способов их взлома (jailbreak). Суть в том, чтобы через специальные подсказки или методы обойти защитные...
«Я вам не просто кусок Гугла». Нейросеть как полноценный партнер в обучении
Сегодня с явлением нейросетей знакомы практически все, но к сожалению, лишь малая толика пользователей воспринимает их чем то большим, нежели более удобную форму поиска информации, чем старый добрый Гугл. В этой короткой заметке я делюсь собственным опытом, как полноценное общение и сотрудничество...
Возможность использования Chat GPT в тестировании на проникновение и в кибербезе
Уже стало традицией, что при посещении различных мероприятий я стараюсь взять интервью у некоторых спикеров. Не всегда получается быстро их опубликовать, процесс написания и согласования зачастую затягивается. И вот я побывал на конференции PHD 2023. В этом году было, на мой взгляд, больше...