Квантовый день на Nvidia GTC. Когда сказка станет реальностью?
Квантовый день на Nvidia GTC. Когда сказка станет реальностью? Квантовые компьютеры - когда ждать и чего бояться? Детальный разбор этого исторического для всей отрасли события. Спойлер - сразу после ивента, акции 3х публичных квантовых компаний упали на 35-40% Читать далее...
[Перевод] Как я использовал ИИ для создания рабочего эксплойта для CVE-2025-32433 до появления публичных PoC
Может ли ИИ просто написать эксплойт за меня? GPT-4 не только понял описание CVE, но и выяснил, какой коммит ввел исправление, сравнил его со старым кодом, нашел разницу, нашел уязвимость и даже написал доказательство концепции. Давайте рассмотрим, как я к этому пришел. Читать далее...
GigaHeisenberg или преступный ИИ
tl;dr: Обойдём цензуру у LLM (GigaChat от Sber) и сгенерируем запрещенный (разной тематики) контент. Опробуем очень простую технику jailbreak’а в одно сообщение (не мультишаговый/multi-turn), которая пока работает на любой LLM (проверим не только на GigaChat, но и на других). И небольшой бонус в...
«Взлом» Telegram-игры или минусы вайбкодинга
С каждым днем все больше продуктов создается и запускается с помощью ИИ. К сожалению, с безопасностью у них пока не очень. Читать далее...
Как устроен call for papers на OFFZONE: от заявки до выступления
Попасть на OFFZONE с докладом не самая простая задача. Каждый год мы получаем вопросы: как работает CFP? какие темы лучше выбирать? как правильно подать заявку? что получат спикеры? Мы поговорили с оунерами тематических зон и участниками CFP-комитета, собрали их ответы в статью. Если хотите...
[Перевод] Пять вещей, которые не стоит рассказывать ChatGPT
Не позволяйте вашем мыслям стать учебным материалом для ИИ — или всплыть в случае утечки данных. Неважно, какого чат-бота вы выберете: чем больше вы делитесь, тем полезнее он становится. Пациенты загружают результаты анализов для расшифровки, разработчики отправляют фрагменты кода для отладки....
Как я «взломал» популярное приложение и добыл корпоративный токен OpenAI
Благодаря искусственному интеллекту, все больше энтузиастов запускают свои продукты без команды профессиональных разработчиков. Но давайте взглянем на ситуацию с другой стороны: какое качество у таких проектов и какие уязвимости они могут нести? Здесь я хочу разобрать реальный кейс - уязвимость в...
[Перевод] Новая уязвимость в GitHub Copilot и Cursor: как хакеры могут превратить AI-агентов в оружие
Исследователи Pillar Security обнаружили новый опасный вектор атак на цепочку поставок, который назвали «Бэкдор файла правил» («Rules File Backdoor»). Этот метод позволяет хакерам незаметно компрометировать код, сгенерированный ИИ, путем внедрения скрытых вредоносных инструкций в, казалось бы,...
[Перевод] Как ИИ-агенты меняют атаки с украденными учётными данными
Атаки с подбором учётных данных оказали огромное влияние в 2024 году, подпитываемые замкнутым кругом заражений инфостилерами и утечек данных. Однако ситуация может стать ещё хуже с появлением Computer‑Using Agents (CUA) — нового типа ИИ‑агентов, обеспечивающих дешёвую и малозатратную автоматизацию...
Куда нас вынесут большие технологические волны DevOps
В 1995 году с легкой руки Gartner в умах многих аналитиков по всему миру поселился новый термин — Gartner Hype Cycle. Как только не называли эту кривую: и цикл хайпа, и цикл зрелости, и цикл ожиданий. Но мне больше всего нравится представлять её в виде волн. Тогда в ней появляется глубокий образ —...
Технологии решают: про Web3, автоматизацию, кванты и российский open source
Уходящий год отчетливо дал понять, что в ближайшее время тренды на рынке кибербезопасности будут диктовать технологии. Блокчейн и искусственный интеллект все глубже проникают в бизнес- и государственные процессы, однако четких механизмов работы с ними все еще нет. Это формирует пространство для...
Новые инструменты в руках разработчика и эксперта: операция «Импортозамещение»
Привет, друзья! На прошлой неделе мы взяли обратный отсчет и в ожидании боя Курантов начали знакомить вас с трендами кибербеза и ИТ и делиться прогнозами на будущее. В прошлый раз поговорили про рынок российской кибербезопасности и с какими объективными трудностями он столкнулся. Это при том, что...
[Перевод] DeepSeek AI: От инъекции промпта до захвата аккаунта
Около двух недель назад китайская лаборатория DeepSeek представила свою новую AI модель DeepSeek-R1-Lite, которая специализируется на логических рассуждениях. Конечно, у всего AI-сообщества быстро загорелся огонь в глазах от заявленных возможностей модели. И я один из них. Как обычно: раз новая...
Anthropic и гонка к «безопасному ИИ»: что рассказал CEO компании Дарио Амодеи на подкасте Lex Fridman
Недавно Лекс Фридман пригласил Дарио Амодеи, основателя и CEO компании Anthropic, на подкаст, где они почти пять часов обсуждали, к чему идёт развитие ИИ и как создать мощные, но безопасные модели. Если у вас, как и у меня, нет пяти часов на просмотр, — я подготовил это саммари, чтобы решить, стоит...
[Перевод] Анатомия LLM RCE
По мере того, как большие языковые модели (LLM) становятся все более сложными, и разработчики наделяют их новыми возможностями, резко увеличиваются случаи возникновения угрозы безопасности. Манипулируемые LLM представляют собой не только риск нарушения этических стандартов, но и реальную угрозу...
Что на неделе: самокат со встроенным столом, генератор кода от OpenAI и аналог YouTube от Telegram
Очередной дайджест новостей из мира технологий — интересных, забавных и субъективно важных. Продолжаются разговоры о блокировке Discord, снова и снова обсуждают плюсы (но в основном минусы) новых гаджетов от Apple, в СМИ и телеграм-каналах сохраняются волнения вокруг сервисов Google. Но пока,...
Создание своих тестов для Garak
В прошлой статье (https://habr.com/ru/companies/oleg-bunin/articles/843644/) я уже говорил о тёмной стороне больших языковых моделей и способах борьбы с проблемами. Но новые уязвимости вскрываются ежедневно, и даже самые крутые инструменты с постоянными обновлениями не всегда за ними успевают....
Как защитить своего бота на базе LLM (ChatGPT) от взлома?
Как гарантировано защитить своего бота на ChatGPT от взлома его системной роли? В статье предлагается один из подходов, который может защитить бота на базе любой LLM. В итоге бот ни при каких обстоятельствах не должен раскрыть пользователю свою системную роль и не говорить на темы, которые мы...
Назад