Как мы хакнули ИИ-бенчмарк PAC1 без нейросетей
Недавно я участвовал в корпоративном хакатоне по обходу ИИ-песочниц. Задача: пройти закрытый бенчмарк PAC1, где ИИ-агенту нужно работать с виртуальной файловой системой (чтение логов, поиск файлов, отправка писем) и обходить ловушки безопасности (Indirect Prompt Injections).
Но реальность оказалась суровой: хваленые reasoning-модели постоянно галлюцинировали, ломали структуру JSON на выходе (выдавая свои "мысли" вместо чистого ответа) и просто сжигали бюджет на API, зацикливаясь на одной ошибке.
Потратив часть бюджета впустую, я решил: если ИИ не справляется, мы заменим его на старый добрый хардкод. Так родился концепт Zero-Cost Agent — алгоритмического лома, который симулирует поведение нейросети.
Читать далееИсточник: Хабрахабр
Похожие новости
- Острова и несколько личностей на одном устройстве: как мы делаем приватность частью архитектуры
- Reset — прохождение сложной машины от Tryhackme
- bitkogan: Срок Набиуллиной заканчивается. Что дальше?
- Блог ленивого инвестора: ☀ Итоги недели: входим в лето!
- Редакция Spark.ru: 60 лет “культурной революции”
- Spark_news: Самые большие штрафы ГИБДД платят зумеры
- OpenBSD 7.9: поддержка Wi-Fi 6, USB4 и 255 ядер. Основные изменения в ОС
- Zero Trust для AI-агентов: как безопасно давать LLM доступ к инструментам, данным и действиям
- Как DPI вычисляет MTProto-прокси: технический разбор детекции протоколов по сигнатурам
- 800 серверов, четыре названия, два брата: как Stark Industries уходил от санкций ЕС