[Перевод] Иголка в стоге сена: как LLM помогают искать уязвимости
За последние несколько недель я отправил довольно много репортов об уязвимостях. Небольшая их часть уже исправлена и раскрыта через бюллетени безопасности. Все они найдены исключительно с помощью LLM, без какого-либо ручного ревью исходного кода. Проекты, в которых я нашел эти проблемы, хорошо...
Thoughtworks Technology Radar Vol. 34: что в тренде и каким становится software engineering после агентного поворота
AI уже меняет не только то, как пишется код, но и то, как вообще надо проектировать инженерную среду вокруг разработки. Разбираем Thoughtworks Technology Radar Vol. 34 не как список модных трендов, а как сигнал сдвига: почему context engineering, zero trust, harness engineering и quality gates для...
Безопасность ИИ: как перестать бежать анализировать каждое новое ПО и перейти к системному подходу
За последние два‑три года компании в РФ перестали относиться к ИИ как к «чудо машине» и начали встраивать его в рабочие процессы: от помощи специалистам контакт‑центров в чатах с клиентами и «серым» помощникам разработчиков до написания полноценных продуктов. Если раньше нельзя было сказать, что ты...
ИИ взломали. Кто бы мог подумать?
В Git in Sky мы последние полтора года плотно занимаемся безопасностью AI-контуров: аудируем интеграции, разбираем архитектуру доступов, помогаем командам выстроить нормальный контроль над тем, что происходит между их данными и языковыми моделями. За 2025-2026 годы произошло достаточно публичных...
От криптоанализа к AI-forensics:
От криптоанализа к AI-forensics Мы привыкли считать LLM «чёрным ящиком»: дал промпт — получил ответ. Максимум — подкрутил fine-tuning или LoRA и надеешься, что стало лучше. Мы пошли в другую сторону. В предыдущей статье я показал, что подписи Schnorr / MuSig2 можно разобрать до уровня строгих...
От правил корреляции к когнитивному ассистенту: что меняется в архитектуре SOC с приходом ИИ
Почему правил корреляции больше недостаточно? Долгое время ядром любого центра мониторинга и реагирования на киберугрозы (далее по тексту – SOC) оставался корреляционный движок, то есть набор правил для автоматизированного поиска паттернов атак, например "5 неудачных входов" + "успешный вход" +...
Правда все: Убьет ли ИИ достоверность в онлайне?
Дипфейком уже никого не удивить. И слава Богу мы научились более-менее отличать их от реальности. Возможно в игру здесь вступил какой-то пока еще не открытый, может принципиально новый механизм эволюции. Но AI продолжает тренироваться с упорством олимпийского фехтовальщика. И некоторые виды...
Как измерить LLM для задач кибербеза: обзор открытых бенчмарков
Привет, Хабр! Меня зовут Андрей Кузнецов, я ML-директор в Positive Technologies. Недавно я решил разобраться, какие бенчмарки измеряют способности языковых моделей в контексте задач кибербезопасности. Думал, что это займет вечер, — увы! Все оказалось куда хаотичнее, чем предполагалось. Поэтому...
Токсичный контент, промпт-хакинг и защита ИИ — всё о Guardrails для LLM
Сегодня LLM — модный инструмент, завтра — обязательный компонент инфраструктуры. Мы разберём, какие уязвимости у языковых моделей есть уже сейчас, почему вокруг guardrails формируется целый стек технологий и как разработчикам влиться в эту волну, пока она только набирает высоту Читать далее...
Как мы в CodeScoring модель для поиска секретов готовили
Расскажем, как нам удалось повысить качество определения истинных секретов в результатах сканирования кода с 0.70 до 0.90 PR AUC с помощью LLM. Читать далее...
Data Gravity и отравление выборки
Любой, кто хоть немного знаком с ИИ знает, что для эффективной работы искусственного интеллекта необходимы качественные данные. В результате 80% времени любого ML-проекта уходит не на подбор гиперпараметров и не на архитектуру нейросети, а на рутинный, выматывающий процесс — вылизывание данных. Мы...
Как ИИ-агенты помогли нам встроить безопасность в стартер-кит
Привет! Меня зовут Владимир Верхотуров, я занимаюсь DevRel в Битрикс24. Большинство стартер-китов ускоряют разработку, но ускорение без системной безопасности почти всегда приводит к техническому долгу. Сегодня хочу рассказать про наш подход к безопасности нашего AI-стартера. Читать далее...
Как ИИ решает сложные технические задачи для всех на примере создания своего VPN Xray VLESS за 10 минут
Итак, вам нужен VPN, но публичные решения сомнительны по безопасности и зачастую не работают. В эпоху нейронок VPN может развернуть за пару часов даже откровенный гуманитарий без технических навыков. Но даже топовые модели в Claude Code и Codex с большой долей вероятности соберут всё косячно. Ведь...
Как маскировать персональные данные на изображениях: наш эксперимент с OCR и NER
Всем привет! Меня зовут Андрей Иванов, я NLP-исследователь в R&D red_mad_robot. Мы разрабатываем систему Guardrails для защиты персональных данных (PII) и фильтрации небезопасного контента. В этой статье расскажу, как мы решали задачу точечного маскирования PII на картинках без обучения специальных...
Кибербезопасность ИИ. Часть 3. Регулирование, стандартизация и кибербезопасность ИИ
Описав в предыдущих статьях архитектуры нейросетей и типы современных ИИ-систем, настало время обсудить текущие вызовы и риски, связанные с использованием ИИ. В настоящее время вопрос регулирования и применения ИИ регулярно обсуждается на самих высоких уровнях, а отрасль ИИ, несмотря на скепсис и...
Управление уязвимостями и искусственный интеллект в VM платформах
Далеко не каждая VM платформа дает понять, что происходит с процессом управления уязвимостями в целом. Чаще всего на выходе получается список уязвимостей, критичность, активы и сроки устранения, но нет возможности видеть общую картину. Аналитику трудно понять текущую ситуацию в динамике....
Анализ юридических рисков в области HR-технологий: баги, ИИ, персональные данные
Всем привет! На связи снова Карьерный Хакер, амбассадор здравого смысла на рынке труда и в HR Tech :) Обзор, как я поймала баги в популярной ATS разлетелся по сети, что доказывает, думаю, насколько тема является общественно важной. Ведь из-за таких ошибок соискатели могут так и не найти работу и...
А если бы весь код был закрыт?
Мы привыкли, что запустить проект можно за вечер, просто собрав его из готовых кирпичиков. Но что, если бы каждый import стоил денег? Бесплатные фреймворки, открытые базы данных и возможность заглянуть в исходники стали для нас абсолютной нормой, которую мы воспринимаем как само собой разумеющееся....
Назад