Точно ли агенты безопасны?
Буквально недавно я писал статью по мотивам материала Anthropic - того самого, где опять говорили "джуны больше не нужны". Ребята учитывают одни детали, игнорируют другие и по факту сравнивают тёплое с мягким :) потому что основная проблема джунов - далеко не LLM-агенты, но подробнее в той статье...
Как я построил guardrails, которые не дали моему AI-агенту пойти вразнос
На третий день в проде мой support-агент на LangGraph и GPT-4o слил email одного клиента в переписку с другим. Причина банальна: модель вставила сырой контекст из базы прямо в ответ, и ничто в пайплайне это не проверяло. Фреймворки для агентов дают оркестрацию, вызов инструментов и память — но не...
Не давайте ИИ-агенту прямой доступ к базе. Как я проектировал безопасный контур действий на FastAPI и PostgreSQL
Последнее время я всё чаще встречаю одну и ту же мысль: бизнес никогда не даст ИИ‑агенту доступ к базе клиентов, заявкам, платежам, CRM или внутренним документам. На первый взгляд звучит логично. Если агент ошибётся, перепутает контекст или выполнит не то действие, ущерб может быть вполне реальным....
Домик для ИИ: как завод пришёл к идее AI ready для бизнеса
Бизнес нацелился делать свой собственный AI. Все задают вопрос: «Какая модель мне нужна?» Но никто не задумывается, на каких мощностях модель будет работать. Мы тоже сначала не задумывались. Разработали корпоративного AI-агента, прокачали ИТ-команду, чтобы двигаться дальше — и споткнулись о...
LLM Sandbox: изолированная среда для исполнения кода от LLM [часть 1, теория]
В большинстве бизнес-сценариев LLM перестала быть просто чат-ботом. Современные модели становятся частью агентских систем: у них есть инструменты, доступ к файлам, терминалу, браузеру, базам данных. Они не только отвечают на вопросы, но и выполняют действия. В этой статье (ее первой части) разберём...
Когда AI ошибается уверенно
Это третья глава серии про AI Innovation Lab — исследовательскую площадку, где я строю AI-augmented SOC: систему из шести AI агентов, которая следит за корпоративной инфраструктурой, расследует инциденты и предлагает действия. В этой главе я подключил к платформе внешнюю разведку угроз — и во время...
«Яндекс» выпустил «Дропс» — наушники с Алисой: как они работают и чего им не хватает
В продажу поступил новый гаджет «Яндекс Дропс» — наушники со встроенной Алисой AI. Это первое носимое устройство компании с Алисой. AI-ассистент в наушниках записывает идеи, мысли, напоминания и задачи в «Мою память», чтобы ничего не забыть. Читать далее...
Как мы перепридумали голосовую активацию для Яндекс Дропс и уместили новую модель в 200 килобайт
Голосовая активация в умных колонках — задача в целом решённая: несколько микрофонов, стабильное питание от розетки, хороший процессор. А вот перенести то же самое в наушники оказалось совсем другой историей. Крошечный аккумулятор, мало памяти, чип с жёсткими ограничениями по тактовой частоте, да...
ИИ-браузер: сотрудник, который ходит по сайтам, кликает баннеры и верит скидкам 90%
Был у меня знакомый стажёр. Толковый, исполнительный, делал всё, что скажешь, и ровно так, как скажешь. Проблема была одна: если в задании написали глупость, он делал глупость. Не потому что дурак — потому что доверял написанному больше, чем себе. Так вот, ИИ-браузер — это тот самый стажёр. Только...
Как платформа управления AI-агентами будет справляться с нагрузкой: архитектура без магии
Когда говорят про AI-агентов, обычно обсуждают качество модели, промпты, рассуждения, hallucinations, стоимость токенов и скорость ответа. Но если убрать маркетинговый шум, быстро выясняется более приземлённая проблема: как вообще такая система будет работать под нагрузкой? Один пользователь...
Бот, который отказался блокировать Red Team
Во время настройки SOAR произошёл любопытный случай. Я прямо разрешил AI предложить блокировку атакующей машины. Он прочитал инструкцию. Подумал. И отказался. Причём оказался прав. Читать далее...
ИБ умерла? Разбираем Project Glasswing — как ИИ нашёл тысячи 0-day и что это значит для безопасников
7 апреля 2026 года Anthropic сделала то, чего не делала раньше: опубликовала 244-страничную System Card для модели, которую не собирается выпускать в открытый доступ. Модель называется Claude Mythos Preview. Причина закрытости проста — она умеет автономно ломать программное обеспечение, которым...
Чип и фейк спешат напомнить: Как делались фейки до прихода ИИ (и почему они ужасны)
Сделать дипфейк легко и уже никого не удивить очередным нейросеточным экзерсисом. А вот чипфейки — идеологические предшественники дипфейков — были куда интереснее. А часто еще и смертоноснее. Сегодня мы взглянем на их историю, а также узнаем как скамеры, политические интриганы, журналисты, тролли и...
Zero Trust для AI-агентов: как безопасно давать LLM доступ к инструментам, данным и действиям
AI-агенты уже вышли за пределы чат-ботов. Они читают документы, вызывают API, анализируют логи, создают тикеты, готовят правки в коде и выполняют многошаговые задачи без ручного подтверждения каждого шага. Это делает их полезными, но меняет модель риска: агент с инструментами становится явным...
Не надо встраивать ИИ в каждую корпоративную систему, это архитектурная ошибка
Главная мысль этой статьи простая: не надо встраивать ИИ в каждую корпоративную систему как отдельный самостоятельный AI-контур. Пользователь должен видеть ИИ там, где работает: в CRM, СЭД, ITSM, мониторинге, портале или корпоративном чате. Но модели, GPU, gateway, лимиты, аудит, политики доступа,...
Сумасшедшая история Т9: Стартапы, дельфины и буддизм против выгорания
Сегодня мы расскажем необычную историю легендарного Т9, которая чуть не закончилась крахом для своих создателей. (А еще о том, как буддизм помог стартапу). Читать далее...
[Перевод] Иголка в стоге сена: как LLM помогают искать уязвимости
За последние несколько недель я отправил довольно много репортов об уязвимостях. Небольшая их часть уже исправлена и раскрыта через бюллетени безопасности. Все они найдены исключительно с помощью LLM, без какого-либо ручного ревью исходного кода. Проекты, в которых я нашел эти проблемы, хорошо...
Thoughtworks Technology Radar Vol. 34: что в тренде и каким становится software engineering после агентного поворота
AI уже меняет не только то, как пишется код, но и то, как вообще надо проектировать инженерную среду вокруг разработки. Разбираем Thoughtworks Technology Radar Vol. 34 не как список модных трендов, а как сигнал сдвига: почему context engineering, zero trust, harness engineering и quality gates для...
Назад