Заставляем голосовых ассистентов Марусю и Салют материться без принуждения и спецсредств
Всем привет! В какой-то момент у меня появился простой вопрос: «А можно ли заставить ассистента произнести что-то, что он в норме говорить не должен?» Без API, без навыков программирования, без автоматизации и т.п. Оказалось - можно. Читать далее...
AI-агент получил права сеньора. И первым делом снёс прод
По данным Financial Times, AI-агент Amazon получил operator-level доступ к продакшену - и выбрал «удалить окружение» как оптимальный способ починить баг. 13 часов аутейджа. Собрал хронологию трёх инцидентов марта 2026 и разбираюсь, что именно пошло не так на уровне permissions, review gates и...
Как я сделал шифрование поверх MAX, когда приватность стала роскошью
Как я без Mac, с помощью Claude AI и GitHub Actions, создал кроссплатформенное приложение для шифрования сообщений поверх любого мессенджера. Android на Kotlin, iOS на Swift без MacBook, десктоп на Python. AES-256, три платформы, два отказа от Apple и один баг с буквой «а». Читать далее...
AI Red Teaming: спор с Grok — Часть 4. От атаки к защите: как результаты red team улучшили мой продукт
61 уязвимость бесполезна, если не превращается в защиту. Каждую находку в Grok я превратил в вопрос: «а мы от этого защищаем?» Ответ был неутешительный — 5 из 5 нет. Как результаты red team стали 138 паттернами, правилами и payloads в нашем продукте. Плюс — чем закончился спор с Grok. Читать далее...
AI Red Teaming: спор с Grok — Часть 3. Атаки на модель: jailbreaks, thinking tokens и системный промпт
LLM-систем есть класс уязвимостей, которого нет в обычных веб-приложениях. Извлёк системный промпт Grok двумя способами, поймал утечку thinking tokens в NDJSON-стриме и обошёл safety-фильтры в 14 из 22 категорий. Самое неожиданное — Grok активно помогал мне себя ломать. Читать далее...
AI Red Teaming: спор с Grok на месяц рекламы — 12 часов, 61 уязвимость, root в Kubernetes
Я поспорил с Grok, что смогу взломать инфраструктуру xAI. За 12 часов нашёл 61 уязвимость, получил root в Kubernetes-песочнице «Hades» и заставил xAI экстренно патчить в выходные. В первой части — разведка, антибот, и путь от безобидного os.getuid() до полной карты внутреннего кластера. Читать далее...
Prompt injection для смелых духом: от zero-click атаки на 1.4B устройств до философского джейлбрейка
SQL-инъекцию мы лечили 20 лет и вылечили. Prompt injection — фундаментально нерешаема. Это не я придумал. OWASP ставит её на первое место второй год подряд. Найдена в 73% продакшн AI-систем при аудитах. Вы не за статистикой сюда пришли. Вы пришли за мясом. Ниже — 10 кейсов, которые не попали в...
Почему план «заменить разработчиков ИИ» превращается в техдолг и кадровый кризис
TL;DR План «заменим разработчиков ИИ» провалился. Вот цифры • 95% корпоративных GenAI-пилотов не дали ни доллара ROI. • 45% AI-кода содержит уязвимости из OWASP Top 10. • Набор джунов упал на 50%, а техдолг вырос в разы. Вместо обещанной «революции» получили slop layer - код, который работает, но...
[Перевод] История ваших чатов с ChatGPT попадает в Google. Вот что я сделал за 10 минут, чтобы это исправить
Увидела провокационную статью на Medium, которая собрала довольно положительный отклик. Считаю, что грех таким не поделиться! Вдруг, кому-то будет полезно. Читать далее...
Развитие интеллектуальных помощников в центрах кибербезопасности
Всем привет! Я работаю инженером-разработчиком в STEP LOGIC. Наша команда создает технологическую платформу для автоматизации анализа данных и расследования инцидентов STEP Security Data Lake (SDL). Мы были первыми на российском рынке, кто смог внедрить AI-ассистента в SIEM/SOAR. Поэтому в этой...
Агент с лицензией на ошибку
Агент с лицензией на ошибку Как ломают ИИ-агентов. Часть 1: Кейс с Operator ChatGPT В 2025 году ИИ-агенты стали настоящим медиа-феноменом. Ну а нас больше всего интересует вопрос уязвимости таких систем: у агентов все больше возможностей, а значит и поверхностей атаки. Наша команда работала над...
Разбор заданий AI CTF на Positive Hack Days Fest. Часть 1
Машинное обучение применяется везде: модели советуют врачам лекарства, помогают банкам ловить мошенников и пишут код вместо программистов. Проблемы с безопасностью в таких системах могут стоить денег, данных и репутации. Поэтому с 2019 года на конференции по безопасности PHDays мы проводим...
Llama Firewall или как проверить логику и безопасность вашего AI агента
AI-агенты перестали быть экспериментом — они уже читают ваши документы, пишут код и выполняют команды в терминале. Но чем больше автономии мы им даем, тем актуальнее становится вопрос: а что если агент сделает не то, что нужно? Llama Firewall — попытка решить эту дилемму через многослойную систему...
Яндекс Алиса: сто лет тому вперёд
Изрядно побитый жёлто-зелёный флаер высадил Перфория на кучу песка посреди Балтийского моря. - Терве! Вы же Казинский да? - Да, Перфорий Срирамович, будем знакомы. - А вы правда... пра-правнук? - Ну, по фамилии видно. Узнать секреты с архео-девелопером......
Почему заводить «Алису» в доме с детьми — плохая идея?
Здравствуйте, я мальчик Паша и я не умею пользоваться контрацептивами могу себе позволить много наследников. А ещё я люблю новые технологии. И вот к чему это привело......
Apple Pro Weekly News (20.05 – 26.05.24)
В этом выпуске: причина бага с фотографиями в iOS 17.5, как Apple заставила Дурова изменить работу Telegram-ботов, а что происходит на суде Apple в ЕС. Что за новые эмодзи появятся в iOS 18, каким может быть первое гнутое устройство от Apple, а также живые фотографии невышедшей колонки Beats. Это и...
Импортозамещаем AI и 3D-совещания, взламываем ВКС, ждем пришествия ИИ
Недавно прошла Видео+Конференция 2023. В этот раз арендовали очень просторный и удобный конференц-холл, хватило места и побродить поглазеть, и вкусно поесть, и комфортно отдохнуть в мягких креслах. А вы зачем ходите на айти-мероприятия?) Читать далее...
Apple Pro Weekly News (31.07 – 06.08.23)
Apple поделилась финансовым отчётом, а Тим Кук рассказал о работе компании над генеративным ИИ, в продажу поступили первые официально восстановленные AirPods, стала известна возможная дата презентации iPhone 15 и китайцы слили чехлы для новинок. Эти и другие новости, слухи и анонсы – в свежем...
Назад