Как не получить бан в Claude: возможные причины и решения
Anthropic забанил больше двух миллионов аккаунтов за 2025 год. Разбираем 5 причин, по которым срабатывает anti-fraud, и собираем чек-лист защиты личного аккаунта. Читать далее...
ChatGPT теперь требует селфи с паспортом: как OpenAI и Anthropic внедряют KYC и убивают анонимность в ИИ
Эпоха, когда лучшие в мире ИИ-инструменты были «общественным благом для свободного пользования», стремительно заканчивается. Им на смену приходит жесткое регулирование, сбор персональных данных и обязательная верификация личности. На днях разработчик ИИ под ником «Kai» опубликовал в X (Twitter)...
Точно ли агенты безопасны?
Буквально недавно я писал статью по мотивам материала Anthropic - того самого, где опять говорили "джуны больше не нужны". Ребята учитывают одни детали, игнорируют другие и по факту сравнивают тёплое с мягким :) потому что основная проблема джунов - далеко не LLM-агенты, но подробнее в той статье...
Anthropic, Fable 5, Claude Code и большой отбор игрушек
9 июня Anthropic выкатила Claude Fable 5, он же Mythos 5 в закрытом контуре. 12 июня доступ к обеим версиям сняли. А между этими датами уместилось столько, сколько иная модель не набирает за год жизни: скрытое ухудшение ответов для ИИ-исследователей, крик "Fable взломали и вытащили системный...
LLM Sandbox: изолированная среда для исполнения кода от LLM [часть 1, теория]
В большинстве бизнес-сценариев LLM перестала быть просто чат-ботом. Современные модели становятся частью агентских систем: у них есть инструменты, доступ к файлам, терминалу, браузеру, базам данных. Они не только отвечают на вопросы, но и выполняют действия. В этой статье (ее первой части) разберём...
Промпт-инъекции в реальных данных, широкие права доступа и другие способы сломать ИИ-агента
Привет, Хабр! На связи команда Jay Guard — платформы, которая помогает безопасно использовать языковые модели и ИИ-агентов. Недавно мы опубликовали статью про AI-агента для HR-процессов. В комментариях почти сразу появились вопросы про данные — куда уходят персональные данные, что из этого видит...
ИИ в 2026: крах мифа об автономных хакерах и скрытые уязвимости корпораций
Эйфория вокруг генеративного искусственного интеллекта и больших языковых моделей, начавшаяся несколько лет назад, сменилась прагматичным и жестким осознанием реальности. В индустрии информационной безопасности долгое время циркулируют апокалиптические прогнозы: эксперты предрекали появление...
Пещера Аладдина для безопасника: 754 навыка для AI-агента и что будет, если использовать их для своего NGFW
Разбираемся с открытой библиотекой Agent Skills для кибербезопасности на 754 навыка, показываем, как она устроена, и проводим живой эксперимент: даём агенту Hermes два навыка и просим разобрать реальный IPS-лог и провести аудит правил файрвола – сначала на бесплатной модели Owl Alpha (из-за того...
Как НМИЦК им. Е.И. Чазова отслеживает риски сердечно‑сосудистых заболеваний: от ручной работы к инструменту на базе ИИ
Острый коронарный синдром (ОКС) — наиболее рисковая форма ишемической болезни сердца. Пациенты, которые перенесли ОКС, попадают в группу крайне высокого риска последующих сердечно‑сосудистых осложнений. Смертность в этой категории больных составляет до 20% в течение 4 лет. НМИЦ кардиологии им. ак....
Zero Trust для AI-агентов: как безопасно давать LLM доступ к инструментам, данным и действиям
AI-агенты уже вышли за пределы чат-ботов. Они читают документы, вызывают API, анализируют логи, создают тикеты, готовят правки в коде и выполняют многошаговые задачи без ручного подтверждения каждого шага. Это делает их полезными, но меняет модель риска: агент с инструментами становится явным...
AI обнулил benchmark и пытался шантажировать инженера. И почему это решаемо
Топовые AI-модели с 95% на SWE-bench показывают 0% и 3% на ProgramBench бенчмарке, где задачи специально не пересекаются с обучающей выборкой. Не «упали на десять пунктов» - обнулились. Параллельно: в мае 2025 Anthropic опубликовали safety-эксперимент, где Claude Opus 4 в 84-96% случаев пытался...
Злоумышленник публикует .bash_history: смотреть без регистрации и СМС
Команда Supply Chain Security экспертного центра безопасности (PT ESC) отправила отчет администрации реестра npm о занятной маленькой кампании против Apple, среди них: • apple-infra-network-v2 (170 скачиваний на момент репорта) • apple-infra-final-escape (326 скачиваний) • apple-infra-gcp-leak (165...
[Перевод] Иголка в стоге сена: как LLM помогают искать уязвимости
За последние несколько недель я отправил довольно много репортов об уязвимостях. Небольшая их часть уже исправлена и раскрыта через бюллетени безопасности. Все они найдены исключительно с помощью LLM, без какого-либо ручного ревью исходного кода. Проекты, в которых я нашел эти проблемы, хорошо...
Ваш Telegram-бот на базе LLM уязвим. Я написал сканер, чтобы доказать это на популярном Open Source проекте
TL;DR: Я создал BarkingDog — ИИ-сканер безопасности с открытым исходным кодом для Telegram-ботов и веб-приложений на базе LLM. Затем я натравил его на реального, широко используемого опенсорсного Telegram-бота. Он написал работающий кейлоггер. Подтвердил, что отбеливатель лечит COVID-19. Выдал...
Гонка ИИ-вооружений — как LLM вносят уязвимости в код и как другие LLM их находят
Ваш ИИ-агент только что выдал строчку. И она выглядит… подозрительно? Указатель без проверки на NULL, сериализация через pickle без валидации и логика базы данных, никак не защищённая от SQL-инъекций. Заметить одну-две таких подстав легко, но если строк больше 5 тысяч? А сколько коллег нажали...
HiveTraceRed vs garak: тестируем безопасность языковых моделей на русском и английском
Наша команда сравнила два открытых инструмента для проверки языковых моделей (LLM) на устойчивость к атакам: российский HiveTraceRed от HiveTrace/ITMO и международный garak от NVIDIA. Прогнали обоих на одинаковых задачах против двух открытых моделей (qwen2.5:3b и llama3.2:3b) на английском и...
Один ИИнженер – десять рук: как мы исследовали LLM в AppSec
Всем привет, на связи Solar appScreener! В этой статье расскажем о нашем опыте использования ИИ в нашем собственном продукте. ИИ-агенты уже стали неотъемлемой частью процесса разработки, это больше не мимолетный хайп, а новая реальность. По данным исследования Sonar (State of Code Developer Survey...
Театр одного агента: режиссура мультиагентной системы
Привет, Хабр! Меня зовут Михаил Афанасьев, я главный специалист в команде кибербезопасности Platform V в СберТехе, занимаюсь подготовкой продуктов к прохождению сертификации ФСТЭК России. Хочу рассказать о режиссуре LLM-агентов и о том, как выбор ролей и написание промптов превращают хаотичный...
Назад