«Крестный отец» ИИ обвиняет новые модели во лжи пользователям: как избежать проблем с LLM
Йошуа Бенжио, один из пионеров искусственного интеллекта, лауреат премии Тьюринга и ученый, чьи исследования легли в основу современных систем ИИ, поднял тревогу. Он заявил, что новейшие модели ИИ демонстрируют опасные черты: склонность к обману, мошенничеству и самосохранению. Чтобы решить эти...
GPT ломает приватность: что должен знать разработчик
За последний год AI встраивается буквально во всё. Ещё недавно его приходилось отдельно запускать. Теперь он встроен везде. Даже те, кто не ставил себе отдельные плагины, уже взаимодействуют с AI каждый день. Он вшит в SaaS-продукты и работает в фоне. Иногда так, что пользователь об этом вообще не...
Использование больших языковых моделей (LLM) в Access Management
Может ли искусственный интеллект революционизировать управление доступом? Есть ли подводные камни? Высокие затраты, риск «галлюцинаций», производительность в реальном времени, эффективность - что перевешивает? В данной статье мы разберемся, как можно применить LLM к управлению доступом для...
Trust & Safety AI Meetup — как это было?
Привет! 22 мая прошел Trust & Safety AI Meetup — обсудили применение AI в борьбе за безопасность и доверие пользователей. К ивенту присоединились спикеры из Wildberries & Russ, Avito, AI Masters, а в зале встретились 60+ гостей и онлайн‑трансляция собрала 250+ просмотров. Смотри фото, чтобы...
Персональные AI-ассистенты или как открыть любому человеку свою почту и календарь
Всем привет! На связи Юрий Шабалин, управляющий директор Стингрей. И сегодня у нас тема не про мобильные приложения, а, пожалуй, самая трендовая — про AI-ассистентов и их проблемы. Читать далее...
Gartner's AI Tech Sandwich: Едим ИИ-бутерброд правильно
Внедрение ИИ технологий – это неизбежность для коммерческих организаций, желающих остаться конкурентными на своем рынке, да, и просто желающих выжить. Общемировая динамика освоения ИИ за 2024 год по оценке McKinsey показывает 20% рост числа организаций, внедривших ИИ хотя бы в одну бизнес функцию....
Квантовый день на Nvidia GTC. Когда сказка станет реальностью?
Квантовый день на Nvidia GTC. Когда сказка станет реальностью? Квантовые компьютеры - когда ждать и чего бояться? Детальный разбор этого исторического для всей отрасли события. Спойлер - сразу после ивента, акции 3х публичных квантовых компаний упали на 35-40% Читать далее...
[Перевод] Как я использовал ИИ для создания рабочего эксплойта для CVE-2025-32433 до появления публичных PoC
Может ли ИИ просто написать эксплойт за меня? GPT-4 не только понял описание CVE, но и выяснил, какой коммит ввел исправление, сравнил его со старым кодом, нашел разницу, нашел уязвимость и даже написал доказательство концепции. Давайте рассмотрим, как я к этому пришел. Читать далее...
GigaHeisenberg или преступный ИИ
tl;dr: Обойдём цензуру у LLM (GigaChat от Sber) и сгенерируем запрещенный (разной тематики) контент. Опробуем очень простую технику jailbreak’а в одно сообщение (не мультишаговый/multi-turn), которая пока работает на любой LLM (проверим не только на GigaChat, но и на других). И небольшой бонус в...
«Взлом» Telegram-игры или минусы вайбкодинга
С каждым днем все больше продуктов создается и запускается с помощью ИИ. К сожалению, с безопасностью у них пока не очень. Читать далее...
Как устроен call for papers на OFFZONE: от заявки до выступления
Попасть на OFFZONE с докладом не самая простая задача. Каждый год мы получаем вопросы: как работает CFP? какие темы лучше выбирать? как правильно подать заявку? что получат спикеры? Мы поговорили с оунерами тематических зон и участниками CFP-комитета, собрали их ответы в статью. Если хотите...
[Перевод] Пять вещей, которые не стоит рассказывать ChatGPT
Не позволяйте вашем мыслям стать учебным материалом для ИИ — или всплыть в случае утечки данных. Неважно, какого чат-бота вы выберете: чем больше вы делитесь, тем полезнее он становится. Пациенты загружают результаты анализов для расшифровки, разработчики отправляют фрагменты кода для отладки....
Как я «взломал» популярное приложение и добыл корпоративный токен OpenAI
Благодаря искусственному интеллекту, все больше энтузиастов запускают свои продукты без команды профессиональных разработчиков. Но давайте взглянем на ситуацию с другой стороны: какое качество у таких проектов и какие уязвимости они могут нести? Здесь я хочу разобрать реальный кейс - уязвимость в...
[Перевод] Новая уязвимость в GitHub Copilot и Cursor: как хакеры могут превратить AI-агентов в оружие
Исследователи Pillar Security обнаружили новый опасный вектор атак на цепочку поставок, который назвали «Бэкдор файла правил» («Rules File Backdoor»). Этот метод позволяет хакерам незаметно компрометировать код, сгенерированный ИИ, путем внедрения скрытых вредоносных инструкций в, казалось бы,...
[Перевод] Как ИИ-агенты меняют атаки с украденными учётными данными
Атаки с подбором учётных данных оказали огромное влияние в 2024 году, подпитываемые замкнутым кругом заражений инфостилерами и утечек данных. Однако ситуация может стать ещё хуже с появлением Computer‑Using Agents (CUA) — нового типа ИИ‑агентов, обеспечивающих дешёвую и малозатратную автоматизацию...
Куда нас вынесут большие технологические волны DevOps
В 1995 году с легкой руки Gartner в умах многих аналитиков по всему миру поселился новый термин — Gartner Hype Cycle. Как только не называли эту кривую: и цикл хайпа, и цикл зрелости, и цикл ожиданий. Но мне больше всего нравится представлять её в виде волн. Тогда в ней появляется глубокий образ —...
Технологии решают: про Web3, автоматизацию, кванты и российский open source
Уходящий год отчетливо дал понять, что в ближайшее время тренды на рынке кибербезопасности будут диктовать технологии. Блокчейн и искусственный интеллект все глубже проникают в бизнес- и государственные процессы, однако четких механизмов работы с ними все еще нет. Это формирует пространство для...
Новые инструменты в руках разработчика и эксперта: операция «Импортозамещение»
Привет, друзья! На прошлой неделе мы взяли обратный отсчет и в ожидании боя Курантов начали знакомить вас с трендами кибербеза и ИТ и делиться прогнозами на будущее. В прошлый раз поговорили про рынок российской кибербезопасности и с какими объективными трудностями он столкнулся. Это при том, что...
Назад