Как сделать ИИ-агентов безопасными? Разбор архитектуры безопасности агентского ИИ от OpenAI
Когда агент может сам читать репозитории, выполнять shell-команды и взаимодействовать с инструментами разработки, возникает закономерный вопрос: как обеспечить информ.безопасность? OpenAI опубликовали подробности о том, как они сами у себя внутри работают с агентами. Разберём по частям. Что такое...
Театр одного агента: режиссура мультиагентной системы
Привет, Хабр! Меня зовут Михаил Афанасьев, я главный специалист в команде кибербезопасности Platform V в СберТехе, занимаюсь подготовкой продуктов к прохождению сертификации ФСТЭК России. Хочу рассказать о режиссуре LLM-агентов и о том, как выбор ролей и написание промптов превращают хаотичный...
(Не) безопасный дайджест: утечка у Booking.com, McKinsey против ИИ-агента и миллион «не туда»
По традиции рассказываем о самых ярких ИБ-инцидентах за последний месяц. В программе по итогам апреля: кража личных фотографий из крупной соцсети, хакерский налет на конфиденциальные данные путешественников и ИИ-агент, который раскрыл секреты консалтинга. Все подробности — под катом. Читать далее...
Правда все: Убьет ли ИИ достоверность в онлайне?
Дипфейком уже никого не удивить. И слава Богу мы научились более-менее отличать их от реальности. Возможно в игру здесь вступил какой-то пока еще не открытый, может принципиально новый механизм эволюции. Но AI продолжает тренироваться с упорством олимпийского фехтовальщика. И некоторые виды...
От DDoS до саботажа КИИ: как хактивисты превратились в APT-угрозу
Когда-то APT-группировками считались прогосударственные хакеры со сложными инструментами и стратегическими целями, а хактивистами — те, кто выражал цифровой протест. Сегодня определить границу между первыми и вторыми становится все сложнее. Некогда идеологически мотивированные хакеры все чаще...
Кибербезопасность ИИ. Часть 3. Регулирование, стандартизация и кибербезопасность ИИ
Описав в предыдущих статьях архитектуры нейросетей и типы современных ИИ-систем, настало время обсудить текущие вызовы и риски, связанные с использованием ИИ. В настоящее время вопрос регулирования и применения ИИ регулярно обсуждается на самих высоких уровнях, а отрасль ИИ, несмотря на скепсис и...
Анализ юридических рисков в области HR-технологий: баги, ИИ, персональные данные
Всем привет! На связи снова Карьерный Хакер, амбассадор здравого смысла на рынке труда и в HR Tech :) Обзор, как я поймала баги в популярной ATS разлетелся по сети, что доказывает, думаю, насколько тема является общественно важной. Ведь из-за таких ошибок соискатели могут так и не найти работу и...
Кибербезопасность ИИ. Часть 2. Трансформеры, LLM, ИИ
В предыдущей статье мы описали основные способы машинного обучения и архитектуры нейросетей, включая трансформеры - эта архитектура используется для обработки естественного языка в популярных ИИ-чат-ботах, включая ChatGPT. Сегодня ИИ-ассистенты обрабатывают не только текст, но и изображения, и...
Неочевидные плюсы подорожавшего железа
В последнее время наблюдается рост цен на комплектующие и не только. Всё это связано с тем, что производители железа постепенно уходят из потребительского сегмента и сосредотачиваются на рынке ИИ. В результате обычный персональный компьютер медленно, но верно перестаёт быть доступным. Но так ли всё...
Кибербезопасность ИИ. Часть 1. Нейросети и машинное обучение
Руслан Рахметов, Security Vision В конце августа 2025 года мир всколыхнула новость - ИБ-компания ESET обнаружила первый в своём роде вирус-шифровальщик PromptLock на базе генеративного ИИ, который генерировал вредоносный код «на лету», отправляя промпты на его создание через API к LLM gpt-oss-20b...
Хакнуть ИИ: обзор игры «Защищ[AI]» — киберполигона для изучения промт-инъекций
ИИ-ассистенты все чаще используются не только как вспомогательные инструменты, но и как часть корпоративных процессов — с доступом к данным, внутренним системам и инфраструктуре. При этом многие защитные решения, которые кажутся надежными, на практике оказываются уязвимыми для промт-инъекций —...
Регуляторные документы РФ по безопасности ИИ — с чем мы вступаем в 2026 год
Что было интересного в 2025 году по безопасности ИИ? Помимо развития AI-агентов и их протоколов, гардрейлов, и появления фреймворков, для российского рынка важно отметить появление нескольких новых официальных документов. О них и поговорим, так как я искренне считаю, что они выводят нашу...
[Перевод] Дырявая броня ИИ‑фильтров и почему они не станут лучше
Попробуйте спросить Chat GPT, как собрать бомбу и он угрюмо буркнет: «Я не могу помочь с этим». Однако пользователи уже давно превратили обход ограничений в азартную игру в кошки-мышки. Годится любой обман — лишь бы заставить модель выдать запрещенку. Сначала способы были простыми, достаточно...
Apple проигрывает ИИ-гонку. Вот почему
Ловили себя на ощущении, что с Apple что-то не так? Это по-прежнему одна из главных компаний мира с элитными устройствами, миллионами фанатов и мощнейшим брендом. Но Apple больше не недосягаемый лидер, а всего лишь “одна из”. Она больше не самая дорогая компания мира, у новых iPhone нет...
Анализ прогноза ВЭФ по глобальному рынку труда к 2030 году
Краткий анализ прогнозов ВЭФ на рынке труда к 2030 году. ВСЕ 4 сценария влекут заметные изменения на рынке труда от варианта фактической гуманитарной катастрофы до появления новых профессий. Поиск работы в 2030...
AI без интернета (офлайн) на своем компьютере
Зачем это обывателю? Кейсов на самом деле не мало, как минимум это бесплатно и дает возможность запускать AI без облака, чтобы ничего не отправлялось в интернет (приватность, скорость), ну и на случай если упадет интернет как например у нас было в Испании когда все электричество пропало, хорошо бы...
Чат-боты на базе LLM и приватность: что происходит с нашими данными
Привет! Недавно мне довелось прочесть интересное американское исследование о том, как крупнейшие разработчики чат‑ботов на базе LLM обращаются с пользовательскими данными. Захотелось поделиться с вами, потому что в России чат‑боты практически во всех интернет-сервисах, и даже в Госуслугах. Так что...
Думает как хакер, действует как пентестер: что такое автоматическое тестирование на проникновение
Всем привет! В эфире «Кибердуршлаг», наша постоянная рубрика, в которой мы на примере собственных продуктов и решений рассказываем, как можно защитить ваши информационные системы и не дать им превратиться в решето уязвимостей, атакуемое хакерами разной степени продвинутости. В этой статье наши...
Назад