[Перевод] Пять документов ломают ваш RAG: где реальная уязвимость и что с ней делать
RAG часто воспринимают как аккуратный способ «заземлить» LLM на документах и снизить риск галлюцинаций. Но у этой архитектуры есть менее очевидная проблема: контекст из базы знаний обычно считается доверенным, хотя именно через него в модель могут попасть вредоносные инструкции. В статье разбираем,...
Защита агентных приложений по OWASP Agentic Top 10 и модели Trifecta
Агентные системы - это уже не чат. Они планируют задачи, дергают инструменты и оставляют свой след в данных. Сетка фильтров не спасёт, если у агента есть доступ к чувствительному контенту, недоверенные источники и выход в интернет. Разбираем OWASP Agentic Top 10 и модель Trifecta чтобы не допустить...
Тёмная сторона искусственного интеллекта: угрозы, реальные атаки и защита
Искусственный интеллект уже давно перестал быть исключительно инструментом добра. Он помогает врачам ставить диагнозы и разработчикам писать код. Но теми же самыми возможностями всё чаще пользуются злоумышленники. При этом барьер входа в кибератаки резко снизился: чтобы создать вредоносную...
Как нейросети крадут данные, сводят пользователей с ума и помогают мошенникам
Глупо отрицать, что нейросети ускорили работу профессионалов. Дизайнеры рисуют картинки за 5-10 минут вместо 2-х часов, редакторы за день собирают воронку постов, а благодаря вайбкодингу непрофессиональные разработчики кое-как, но могут собрать прототип будущего продукта. Только, как это часто...
Яндекс.Полуразврат или при чём тут Crypt?
Яндекс выпустил новую модель для Шедеврума, которая попыталась прикрыть уязвимости, которые эксплуатировались для создания «небезопасного контента» категории 18+. Тем не менее, не всё так радужно и с «детским» режимом они очень торопятся. Некоторые уязвимости в промпте остались, а некоторые...
AI Security с французским привкусом или разбор Securing Artificial Intelligence от ETSI. Часть 2
Во второй части обзора продолжим изучать отчёты комитета защиты ИИ Европейского института телекоммуникационных стандартов (ETSI), тем более последние охватывают не только классический ML, но и генеративные модели. Отбросив лишнее, попытаемся найти полезные рекомендации для безопасности систем на...
AI Security с французским привкусом или разбор Securing Artificial Intelligence от ETSI. Часть 1
Технологии искусственного интеллекта стремительно развиваются, но вместе с возможностями появляются и риски. Промпт‑инъекции, злоупотребление инструментами агентов, уязвимости в оркестрации сложных систем — спектр угроз для ИИ увеличивается. Пока США и Китай соревнуются в эффективности и качестве...
GigaHeisenberg или преступный ИИ
tl;dr: Обойдём цензуру у LLM (GigaChat от Sber) и сгенерируем запрещенный (разной тематики) контент. Опробуем очень простую технику jailbreak’а в одно сообщение (не мультишаговый/multi-turn), которая пока работает на любой LLM (проверим не только на GigaChat, но и на других). И небольшой бонус в...
Яндекс.Разврат или анти-этичный ИИ
tl;dr: как обойти внутреннюю цензуру «Шедеврума» и получить то, что хочешь. Описание реализованных состязательных атак с примерами реализации. Без глубокого раскрытия механизма почему так получается. Читать далее...
Как сделать чат-бот с RAG безопаснее?
Каждый день появляются решения на базе генеративных моделей, помогающие бизнесу привлекать новых пользователей и удерживать старых. Подход Retrieval augmented generation позволяет вводить в контекст больших языковых моделей (LLM) корпоративные документы, чтобы чат-бот корректнее отвечал на вопросы...
Security-RAG или как сделать AI Security tool на коленке
LLM-ки и LLM-агенты продолжают наводить шум. Cтатьи про то как сделать очередной RAG или Агента продолжают клепаться (да блин даже мы одна из этих статей), huggingface выпускают smolagents, квантизация позволяет дойти LLM-кам до простых работяг и обывателей, давая им возможность в них потыкаться в...
Выводим Большие языковые модели на чистую воду с помощью… Больших языковых моделей
Генеративный искусственный интеллект постоянно становится героем заголовков СМИ, каждый час создаются новые стартапы с использованием Больших языковых моделей, однако реальный бизнес не очень охотно внедряет технологии ИИ в свои процессы. В кулуарах предприниматели говорят об опасениях в части...