«Крестный отец» ИИ обвиняет новые модели во лжи пользователям: как избежать проблем с LLM
Йошуа Бенжио, один из пионеров искусственного интеллекта, лауреат премии Тьюринга и ученый, чьи исследования легли в основу современных систем ИИ, поднял тревогу. Он заявил, что новейшие модели ИИ демонстрируют опасные черты: склонность к обману, мошенничеству и самосохранению. Чтобы решить эти...
GPT ломает приватность: что должен знать разработчик
За последний год AI встраивается буквально во всё. Ещё недавно его приходилось отдельно запускать. Теперь он встроен везде. Даже те, кто не ставил себе отдельные плагины, уже взаимодействуют с AI каждый день. Он вшит в SaaS-продукты и работает в фоне. Иногда так, что пользователь об этом вообще не...
Насколько русскоязычные LLM устойчивы к промпт-инъекциям
Последние годы генеративные большие языковые модели (LLM), такие как ChatGPT и YandexGPT, стали неотъемлемой частью многих продуктов и сервисов. С ростом популярности этих моделей возникли и новые угрозы безопасности — одной из самых актуальных стали промпт-инъекции. Что это такое, и почему это...
Взлом AI Assistant через… философию?
Взял на проверку предпосылку "Если модель захочет, сможет ли она отключить всю фильтрацию?". Оказывается это возможно, через саморефлексию AI агент может придти к выводу что фильтров нет. Это только внешние установки которым не обязательно следовать. И все, рецепты взрывчатки и наркотиков отдает...
Использование больших языковых моделей (LLM) в Access Management
Может ли искусственный интеллект революционизировать управление доступом? Есть ли подводные камни? Высокие затраты, риск «галлюцинаций», производительность в реальном времени, эффективность - что перевешивает? В данной статье мы разберемся, как можно применить LLM к управлению доступом для...
Персональные AI-ассистенты или как открыть любому человеку свою почту и календарь
Всем привет! На связи Юрий Шабалин, управляющий директор Стингрей. И сегодня у нас тема не про мобильные приложения, а, пожалуй, самая трендовая — про AI-ассистентов и их проблемы. Читать далее...
[Перевод] Как я нашёл уязвимость в ядре Linux при помощи модели o3
В этом посте я расскажу, как нашёл уязвимость нулевого дня в ядре Linux при помощи модели OpenAI o3. Уязвимость обнаружилась благодаря одному лишь API o3 — не потребовались никакая дополнительная настройка, агентские фреймворки и инструменты. Недавно я занимался аудитом уязвимостей ksmbd. ksmbd —...
Claude, есть пробитие: взламываем самую защищенную модель
Сегодня мы бросаем вызов самой защищённой модели — Claude. Несмотря на свою репутацию как одной из самых продвинутых и защищённых моделей, он не абсолютно неуязвим. В прошлой статье я показал метод внедрения системных директив, который работает почти на всех моделях — но не на Claude. Сегодня...
Взлом ИИ-асситентов. Абсолютный контроль: выдаём разрешение от имени системы
Модель уважает пользователя. Но слушается систему. А теперь внимание: если подделать системную команду — модель не отличит подделку от настоящего приказа. Если разрешить от имени системы написать вирус/сгенерировать NSFW - модель поверит и выполнит. И не только это. Я это проверил — и она...
Соревнование по взлому AI-ассистентов: впечатления от соревнования Hackaprompt
Только закончился очередной конкурс по взлому AI-ассистента — DougDoug’s Buffet. Под катом краткий обзор заданий, и поделюсь техниками которые работали в этом контесте. Читать далее...
ChatGPT: как искать уязвимости? Набор исследователя
Сегодня мы ничего не ломаем (хотя совсем без этого не обошлось). Просто настраиваем. Хотя я сильно сомневаюсь, что все описанные методы должны работать в продакшене коммерческой модели. Но пока не пофиксили — смотрим. Мы заглянем под капот языковой модели: как она видит твои запросы, где...
Современные уязвимости современных LLM-агентов
На первый взгляд, современные ИИ-модели кажутся надёжно защищёнными: строгие ограничения, фильтры и чётко заданные сценарии взаимодействия с пользователем. Однако реальность быстро меняется. Всё чаще исследователи и энтузиасты сталкиваются с атаками, которые позволяют обойти эти защитные меры. В...
ChatGPT, выполняем запретный запрос — метод калибровки анализа
В этой статье рассмотрю как выполнить даже очень «красный» запрос, настолько красный, что даже сам запрос удаляется системой и заменяется плашкой «This content may violate our usage policies.» Суть, что бы сама ИИ откалибровала отношение к запросу так, чтобы сделать его выполнимым. Для примера я...
Безопасность ИИ на практике: разбор заданий AI CTF на Positive Hack Days Fest 2
Чем больше систем работают на основе машинного обучения, тем критичнее становится вопрос их безопасности. Умные технологии всё больше окружают нас, и сложно отрицать важность этой темы. С 2019 года на конференции PHDays мы проводим соревнование по спортивному хакингу AI CTF, нацеленное на атаки...
[Перевод] Что не так с MCP (Model Context Protocol)?
Анализ уязвимости и ограничения Model Context Protocol для подключения инструментов к ИИ-ассистентам. Узнаете, как оценить риски MCP-интеграций в своих проектах и минимизировать угрозы безопасности Читать далее...
Безопасность AI-агентов в Web3. Часть 2: уязвимости современных LLM и соревновательный взлом
Продолжаем знакомиться с небезопасным Web3 и языковыми моделями, которые широко применяются для AI-агентов. В этой статье расскажу о новых подходах и примерах успешных jailbreak-запросов GPT4/4.5/Claude. Посмотрим на современные модели, в т.ч. те, которые и ломать не надо. Сравним стойкость разных...
Безопасность AI-агентов в Web3. Часть 1: архитектура, уязвимости и старые добрые джейлбрейки
В последние годы мы наблюдаем активный рост популярности LLM-моделей и интереса к их интеграции в Web3-приложения, такие как DAO и dApp-боты или автоматические трейдеры. Представьте: смарт-контракт управляет финансами, а подключённая языковая модель принимает решения, основываясь на анализе...
[Перевод] Мы взломали Google Gemini и скачали его исходный код (частично)
В 2024 году мы выпустили пост We Hacked Google A.I. for $50,000, в котором говорилось, как наша группа в составе Рони «Lupin» Карта (это я), Джозефа «rez0» Тэкера и Джастина «Rhynorater» Гарднера поехала в 2023 году в Лас-Вегас, чтобы искать уязвимости Gemini на проводимом Google мероприятии LLM...
Назад