[Перевод] Обнаружение уязвимостей ИИ агентов. Часть I: Введение в уязвимости
Этот вводная часть открывает серию статей о уязвимостях агентов ИИ, в которых изложены ключевые риски безопасности, например инъекция подсказок ввода и исполнение кода. Также заложены основы для будущих частей, где будут подробно рассмотрены недостатки исполнения кода, утечки данных и угрозы...
Насколько русскоязычные LLM устойчивы к промпт-инъекциям
Последние годы генеративные большие языковые модели (LLM), такие как ChatGPT и YandexGPT, стали неотъемлемой частью многих продуктов и сервисов. С ростом популярности этих моделей возникли и новые угрозы безопасности — одной из самых актуальных стали промпт-инъекции. Что это такое, и почему это...
Персональные AI-ассистенты или как открыть любому человеку свою почту и календарь
Всем привет! На связи Юрий Шабалин, управляющий директор Стингрей. И сегодня у нас тема не про мобильные приложения, а, пожалуй, самая трендовая — про AI-ассистентов и их проблемы. Читать далее...
Безопасность AI-агентов в Web3. Часть 2: уязвимости современных LLM и соревновательный взлом
Продолжаем знакомиться с небезопасным Web3 и языковыми моделями, которые широко применяются для AI-агентов. В этой статье расскажу о новых подходах и примерах успешных jailbreak-запросов GPT4/4.5/Claude. Посмотрим на современные модели, в т.ч. те, которые и ломать не надо. Сравним стойкость разных...