За неделю от ночных кошмаров до спокойного сна: как я автоматизировал защиту от AI-хакеров
Никто не любит быть тем парнем, который говорит "а давайте еще и защиту поставим". Особенно когда речь идет о блестящем новом AI-продукте, который должен был запуститься "еще вчера". Но когда твой корпоративный чат-бот начинает выдавать системные промпты направо и налево, а в 2 ночи тебе в Telegram...
Как я устал тестировать LLM-системы вручную и написал универсальный сканер уязвимостей
Полгода назад я работал над внедрением RAG-системы в крупной финансовой компании. Задача была типичная: построить корпоративного чат-бота, который мог бы отвечать на вопросы сотрудников по внутренним документам. Казалось бы, что может пойти не так? Берем готовую LLM, подключаем к базе знаний,...
Как мы строим антифрод в анонимных крипто-свапалках: опыт и грабли
Когда речь заходит о криптовалютных свапалках и анонимных DEX, безопасность становится не просто приоритетом, а настоящим вызовом. Отсутствие централизованной модерации и KYC-процедур ставит перед разработчиками задачу создать эффективные системы, которые могут обнаруживать и предотвращать...
Проверка на Data Poisoning в MLSecOps
В первой обзорной статье про MLSecOps мы сформировали общее понимание этого нового направления в IT, узнали про основные навыки, необходимые инженерам и архитекторам MLSecOps для успешной работы, подсветили яркое будущее и перспективы этой профессии. Cсылка на статью: MLSecOps: защита машинного...
AI Security с французским привкусом или разбор Securing Artificial Intelligence от ETSI. Часть 1
Технологии искусственного интеллекта стремительно развиваются, но вместе с возможностями появляются и риски. Промпт‑инъекции, злоупотребление инструментами агентов, уязвимости в оркестрации сложных систем — спектр угроз для ИИ увеличивается. Пока США и Китай соревнуются в эффективности и качестве...
От хаоса к порядку: как ML помогает искать и защищать конфиденциальную информацию
В современном мире объемы данных растут экспоненциально: компании ежедневно генерируют и обрабатывают огромные массивы информации — от реляционных баз данных и текстовых документов до изображений, аудио и видео. С ростом объемов информации усложняется и ее защита, особенно в отношении...
Использование больших языковых моделей (LLM) в Access Management
Может ли искусственный интеллект революционизировать управление доступом? Есть ли подводные камни? Высокие затраты, риск «галлюцинаций», производительность в реальном времени, эффективность - что перевешивает? В данной статье мы разберемся, как можно применить LLM к управлению доступом для...
Почему синтетические данные редко используются в реальных задачах
Синтетические данные – это искусственно сгенерированные наборы, имитирующие структуру и статистические закономерности реальных данных. В последние годы вокруг этой технологии возник значительный ажиотаж. Еще недавно аналитики прогнозировали, что уже к 2024 году до 60% данных, используемых для...
В погоне за неизведанным: как ML-модель вредоносы искать училась
Всем привет! С вами Ксения Наумова. В Positive Technologies я исследую вредоносный сетевой трафик и совершенствую инструменты его анализа в экспертном центре безопасности. Недавно перед нами встала задача — создать ML-модель для обнаружения вредоносного ПО в сети. Причем распознавать она должна...
Алгоритмы поиска аномалий HBOS и ECOD
Специалистам по машинному обучению часто приходится заниматься поиском аномалий в данных, однако в русскоязычном интернете этой задаче посвящено очень мало материалов. В частности, нет хороших разборов различных алгоритмов поиска аномалий, где были бы описаны их плюсы и минусы. В этой статье...
Использование машинного обучения для выявления скрытых угроз веб-безопасности
Анализ большого объема логов ‒ сложный и длительный процесс, и обычные алгоритмы редко выявляют больше, чем система активной защиты. Поэтому логичным и перспективным решением становится применение машинного обучения. В этой статье рассмотрены варианты применения ML-моделей для анализа веб-угроз,...
Фотохостинг со сквозным шифрованием
Опенсорсный криптофотохостинг Ente Photos, десктопное приложение и мобильный клиент Когда запустился YouTube, люди спокойно публиковали там трогательные приватные видео. Сегодня никому в голову не придёт выкладывать такое в открытый доступ. Времена сильно изменились. То же относится к фотографиям....
UEBA: как анализ поведения помогает защищать данные
В последние годы утечки данных и торговля украденной информацией стали пугающе обыденными. Компании по всему миру ежедневно сталкиваются с атаками, а взломанные учетные данные и фишинг — уже не исключение, а главный вектор компрометации. Классические методы защиты, основанные на статических...
Один год вместе с LLM в кибербезопасности: как ИИ менял индустрию
В 2024 году большие языковые модели (LLM) кардинально изменили многие сферы, включая кибербезопасность. LLM научились не только помогать в поиске уязвимостей, но и предлагать их исправления. От симуляции атак и анализа уязвимостей до создания правил детектирования — LLM постепенно становятся...
За грань netflow: что получается, если отказаться от ограничений
Здравствуй, Хабр! Уже как 4 года я веду свой небольшой pet-проект в области netflow и его практического применения, и вот сейчас решил поделиться своими результатами. Эта история началась снежным московским днём, когда один уважаемый коллега поделился следующий новостью: ребята прочитали научную...
Как мы ускорили решение своей задачи по машинному обучению путем участия в Большой математической мастерской
Привет, Хабр! У нас в Департаменте анализа безопасности «Группы Астра» недавно случился первый опыт участия в Большой математической мастерской, как раз им и хотелось бы поделиться в статье. Мы расскажем, как это участие помогло команде протестировать новую методологию для решения внутренних задач....
[Перевод] Реализация подобия Apple Vision Pro
Не так давно я был свидетелем запуска Apple Vision Pro. Презентация оказалась очень интересной, но больше всего моё внимание зацепила одна деталь — дистанционное управление вводом с помощью пальцев. Выглядит очень интуитивно — использовать перемещение и сведение пальцев для управления курсором на...
Будущее наступило: нейросеть управляет компьютером. Что дальше?
Недавно компания Anthropic обновила свои нашумевшие модельки Claude. ИИ-шки стали работать лучше и в очередной раз обошли GPT-4o. Но ключевое нововведение — удалённое управление компьютером. В статье расскажем, как ИИ это удалось и что ждёт нас дальше. Читать далее...
Назад