CTF и нейросети: опыт решения задач по кибербезопасности с помощью ИИ
Всем привет! Меня зовут Глеб Санин, аналитик данных R&D-лаборатории Центра технологий кибербезопасности ГК «Солар». В этой статье я попробовал разобраться, поможет ли ИИ в решении заданий на CTF-турнирах и с какими ограничениями можно столкнуться в моменте. О будущем использовании ИИ в CTF, как...
Новый универсальный метод взлома LLM от Anthropic «Best-of-N Jailbreaking»
Буквально несколько часов назад (на момент написания этой статьи), компания Anthropic предоставила свое новое исследование по обходу защитных механизмов LLM в открытый доступ. Новый способ взлома «Best‑of‑N Jailbreaking» описывает универсальный метод обхода защиты передовых AI‑моделей, работающий с...
Как я взломал одну из самых топовых нейросетей (Claude 3.5 Sonnet) для студенческой научной статьи
Я — простой студент, который обучается по направлению «Информационная безопасность». Так вышло, что по программе мне нужно было написать научную статью по теме ИБ. Будучи авантюристом я выбрал тему, которая была мне ближе и интереснее... и так получилось, что в пылу энтузиазма я немного...
Как мы обучали LLM для поиска уязвимостей в смарт-контрактах Solidity
Наша команда в Positive Technologies занимается анализом безопасности смарт-контрактов, исследованием уязвимостей и разработкой инструментов для их обнаружения. Идея использовать LLM для анализа смарт-контрактов Solidity показалась крайне заманчивой. Загрузить код, запустить модель — и она сама...
Что на неделе: самокат со встроенным столом, генератор кода от OpenAI и аналог YouTube от Telegram
Очередной дайджест новостей из мира технологий — интересных, забавных и субъективно важных. Продолжаются разговоры о блокировке Discord, снова и снова обсуждают плюсы (но в основном минусы) новых гаджетов от Apple, в СМИ и телеграм-каналах сохраняются волнения вокруг сервисов Google. Но пока,...
Искусственный интеллект. Оптимизируем работу с файлами и поиск в сети при помощи ИИ
Приветствуем дорогих читателей! Это вступительная статья по использованию ИИ в оптимизации различных задач. В этой статье мы рассмотрим установку бесплатного ИИ Llama и рассмотрим некоторые инструменты для распознавания и переименовывания файлов исходя из их содержимого, оптимизации работы в...
Как защитить своего бота на базе LLM (ChatGPT) от взлома?
Как гарантировано защитить своего бота на ChatGPT от взлома его системной роли? В статье предлагается один из подходов, который может защитить бота на базе любой LLM. В итоге бот ни при каких обстоятельствах не должен раскрыть пользователю свою системную роль и не говорить на темы, которые мы...
О чем еще говорят питонисты? Python-праздник на Positive Hack Days Fest 2. Часть 2
В прошлой статье, посвященной Python Day, который пройдет 26 мая в рамках киберфестиваля Positive Hack Days 2, мы рассказали о 4 из 8 запланированных докладов конференции. Продолжаем свой рассказ, дополняя его комментариями участников программного комитета мероприятия. Читать далее...
Как взламывают биометрию и заставляют нейросети придумывать способы атак: топ-6 докладов с PHDays о ML и AI
Машинное обучение — особенно генеративные нейронные сети, такие как ChatGPT, — меняет мир нечеловеческими темпами. Разработчиков на некоторых дистанционных собеседованиях просят направить веб-камеру на рабочее место и клавиатуру, чтобы понимать, самостоятельно ли соискатель выполняет задания....
Ищем вдохновение, мотивацию и новый заряд энергии
Все вы знаете, зачем посещать конференции. По крайней мере, на всех рекламных баннерах и других рекламных материалах пишут что-то похожее. Это обновление знаний, обмен опытом, soft skills, новые контакты и «тусовка». На самом деле это не всё, что даёт нам посещение профессиональной конференции....
«Да не робот я!»: CAPTCHA исчезнет или станет ёщё более раздражающей?
Интернет-мем про роботов и капчу. Источник: Лаборатория Касперского. Вместе с ростом числа интернет-пользователей развивались боты для спам-рассылок и создания фейковых учетных записей. В 2000 году исследователями из Университета Карнеги-Меллона была разработана CAPTCHA, Completely Automated Public...
Обзор telegram-бота N.E.T.C.A.L.C. – сетевого мульти-инструмента для ИТ и ИБ-специалистов, созданного с помощью ChatGPT
Всем привет! В первой части своего повествования я рассказал об опыте создания при помощи ChatGPT telegram-бота с функцией продвинутого калькулятора IP-сетей и набором полезных сетевых инструментов. В этой статье я подробнее объясню и наглядно продемонстрирую каждую из его текущих возможностей, а...
Способы атаки на ИИ (Claude & ChatGPT): floating attention window attack
Хакеры придумывают всё более изощренные способы атаки на искусственный интеллект. Один из наиболее интересных — это атака «плавающего окна внимания»: злоумышленники манипулируют контекстом диалога с ИИ, подталкивая его к опасным выводам и смещению фокуса. Чрезвычайно тонкий подход, позволяющий...
Лучшие инструменты с ChatGPT для ИБ-специалиста
Любой инструмент можно использовать как во вред, так и во благо. Точно так же с нейросетью. Пока WormGPT помогает хакерам писать убедительные фишинговые письма на разных языках, ChatGPT уже давно и твёрдо стоит на страже кибербеза. Привет! Меня зовут Александр Быков, я создаю облачные ИБ-сервисы в...
Постмодерн в криптографии или как в книгах плодятся симулякры третьего порядка
Данная статья не вышла бы на свет и вовсе, если бы у меня не существовало такого фетиша как скупки книг по криптографии, за счёт которого я откопал ещё недавно выставленную книгу - "Криптография. Основы практического шифрования и криптографии". Книга описывает лишь основы криптографии, но можно ли...
YandexGPT тоже провалил тест на ручник
Поскольку ChatGPT последних версий недосягаем для честной российской белошвейки, все мы возлагаем огромные надежды на отечественного производителя. [ Пятница ]...
Как утечки данных пользователей ChatGPT подставляют пользователей
В конце мая вскрылась масштабная утечка данных пользователей ChatGPT, которые потенциально могут скомпрометировать конфиденциальную и чувствительную информацию, которую пользователи доверяют этому продвинутому чат-боту. На биржах украденных данных в даркнете появились логи, содержащие более 100 000...
Взламывая ChatGPT: как мы участвовали в хакатоне по атакам на ИИ
Мы поучаствовали в хакатоне от LearnPrompting, посвященном атакам на ChatGPT, и заняли восьмое место среди около четырехсот команд. Если вам интересно, зачем мы провели несколько ночей за взломом чат-бота, как нам пригодился опыт борьбы с фишингом и умеют ли нейросети хранить секреты, — добро...