Сравнение нейросетей для создания ПО. Для сканирования хостов и поиска никнеймов
Введение Приветствуем дорогих читателей! Начинаем рубрику посвящённую нейросетям и их применению в сфере ИБ. В этой статье мы сравним 3 самых популярных и одну малоизвестную ИИ в разработке скриптов для эффективного поиска никнеймов и сканирования хостов на уязвимости. Дисклеймер: Все данные,...
Месяц с ИИ как с психотерапевтом: личный опыт и важные предостережения
Я решила протестировать, может ли ИИ быть заменой терапевтическому дневнику или даже частичной поддержкой при эмоциональном напряжении. Хочу сразу сказать: я не живу в вакууме и сама не раз сталкивалась с личными кризисами. К тому же я — не только дизайнер, но и врач по образованию. Это дало мне...
[Перевод] Как я использовал ИИ для создания рабочего эксплойта для CVE-2025-32433 до появления публичных PoC
Может ли ИИ просто написать эксплойт за меня? GPT-4 не только понял описание CVE, но и выяснил, какой коммит ввел исправление, сравнил его со старым кодом, нашел разницу, нашел уязвимость и даже написал доказательство концепции. Давайте рассмотрим, как я к этому пришел. Читать далее...
GigaHeisenberg или преступный ИИ
tl;dr: Обойдём цензуру у LLM (GigaChat от Sber) и сгенерируем запрещенный (разной тематики) контент. Опробуем очень простую технику jailbreak’а в одно сообщение (не мультишаговый/multi-turn), которая пока работает на любой LLM (проверим не только на GigaChat, но и на других). И небольшой бонус в...
[Перевод] Что не так с MCP (Model Context Protocol)?
Анализ уязвимости и ограничения Model Context Protocol для подключения инструментов к ИИ-ассистентам. Узнаете, как оценить риски MCP-интеграций в своих проектах и минимизировать угрозы безопасности Читать далее...
«Взлом» Telegram-игры или минусы вайбкодинга
С каждым днем все больше продуктов создается и запускается с помощью ИИ. К сожалению, с безопасностью у них пока не очень. Читать далее...
[Перевод] Когда ИИ становится троянским конем: 43% «галлюцинированных» имен пакетов регулярно повторяются в сгенерированном коде
AI-помощники регулярно "галлюцинируют" несуществующие пакеты, а злоумышленники используют эти имена для размещения вредоносного кода в репозиториях. Исследования показывают, что 5.2% рекомендаций пакетов от коммерческих моделей не существуют, а для open-source моделей этот показатель достигает...
[Перевод] Пять вещей, которые не стоит рассказывать ChatGPT
Не позволяйте вашем мыслям стать учебным материалом для ИИ — или всплыть в случае утечки данных. Неважно, какого чат-бота вы выберете: чем больше вы делитесь, тем полезнее он становится. Пациенты загружают результаты анализов для расшифровки, разработчики отправляют фрагменты кода для отладки....
Как я «взломал» популярное приложение и добыл корпоративный токен OpenAI
Благодаря искусственному интеллекту, все больше энтузиастов запускают свои продукты без команды профессиональных разработчиков. Но давайте взглянем на ситуацию с другой стороны: какое качество у таких проектов и какие уязвимости они могут нести? Здесь я хочу разобрать реальный кейс - уязвимость в...
ИТ-рынок России: итоги 2024 года и основные тренды
Совершенствование технологий позволяет ИТ-отрасли играть всё большую роль в экономике России. Одним из основных факторов развития отрасли стало импортозамещение — количество продуктов в Едином реестре российского ПО в 2024 г. выросло на 22,4% и превысило 25 тыс. Однако им дело не ограничилось....
[Перевод] Безопасная AI-управляемая система раннего выявления для анализа медицинских данных и диагностики
Искусственный интеллект всё активнее используется в медицине, но работа с чувствительными данными требует не только высокой вычислительной мощности, но и строгого соблюдения стандартов конфиденциальности. В этой статье рассматривается архитектура AI-управляемой системы раннего выявления...
Как разоблачить нейросеть: 6 признаков, что текст написал ИИ
Эксперты пишут посты с помощью ИИ, на сайтах знакомств вам может отвечать алгоритм, а студенты и школьники используют нейросети для докладов. Умение отличать машинный текст от живого поможет понять, стоит ли доверять статье в интернете, и избежать фейковых новостей. Привет! Меня зовут Катя, и...
Илон Маск заинтересовался взломом AI-агента на $50000
AI-агенты, способные самостоятельно обращаться к функциям системы для решения задач, набирают популярность. На прошлой неделе OWASP опубликовал гайд об угрозах для AI-агентов и примеры уязвимостей на базе популярных фреймворков. Участник лаборатории ИТМО AI Security Lab Александр Буянтуев предложил...
Один год вместе с LLM в кибербезопасности: как ИИ менял индустрию
В 2024 году большие языковые модели (LLM) кардинально изменили многие сферы, включая кибербезопасность. LLM научились не только помогать в поиске уязвимостей, но и предлагать их исправления. От симуляции атак и анализа уязвимостей до создания правил детектирования — LLM постепенно становятся...
Security-RAG или как сделать AI Security tool на коленке
LLM-ки и LLM-агенты продолжают наводить шум. Cтатьи про то как сделать очередной RAG или Агента продолжают клепаться (да блин даже мы одна из этих статей), huggingface выпускают smolagents, квантизация позволяет дойти LLM-кам до простых работяг и обывателей, давая им возможность в них потыкаться в...
AI-First устройства пока не стали заменой смартфонам
Обзор от аналитического центра red_mad_robot, как компании массово ищут новый формат устройств будущего. В 2024 году на рынке появились AI-First девайсы, чтобы стать персональными помощниками пользователей, облегчить жизнь и заменить смартфоны. Но в результате каждый знаковый проект был обречён на...
ИИ представляет собой экзистенциальную угрозу: 9 тезисов для обсуждения
9 тезисов о том, почему будущие системы искусственного интеллекта могут уничтожить человечество, и какие меры нужны, чтобы это предотвратить. 1. ИИ отличается от нормальных программ. Традиционные программы — это написанные людьми инструкции, которые выполняет компьютер. Эти инструкции содержат...
Как я взломал одну из самых топовых нейросетей (Claude 3.5 Sonnet) для студенческой научной статьи
Я — простой студент, который обучается по направлению «Информационная безопасность». Так вышло, что по программе мне нужно было написать научную статью по теме ИБ. Будучи авантюристом я выбрал тему, которая была мне ближе и интереснее... и так получилось, что в пылу энтузиазма я немного...