Сублиминальное обучение и инерция весов: Почему нейросети помнят то, что должны были забыть
В предыдущей статье я рассматривал феномен сублиминального обучения, но вопросов было больше, чем ответов. Пришло время разобрать его подробнее. Эксперименты и код ниже.
В задачах AI Alignment и безопасности LLM остается актуальным вопрос: является ли дообучение (Fine-tuning) или обучение с подкреплением (RLHF) гарантией удаления нежелательной информации?
Спойлер: Эксперименты показали, что известный эффект связности мод (Mode Connectivity) делает полное удаление информации из пре-трейнинга практически невозможным при стандартном Fine-tuning. Структурный импринтинг сохраняется в топологии весов и может быть считан через сублиминальный канал. Даже при полной разморозке весов и агрессивной L2-регуляризации (активном забывании), топология латентного пространства, сформированная на этапе пре-трейнинга, сохраняется и определяет решение новой задачи с точностью до 88-99%.
Читать далееИсточник: Хабрахабр
Похожие новости
- OSINT для ленивых. Часть 8: GEOINT по фото за 3 минуты
- MarketingNews: Кейс: «Призы от всего атомного сердца». как «Пятёрочка» создала фиджитал-вселенную с Atomic Heart и переосмыслила механику промоакций
- Как я собрал себе C2 на малинке за один вечер
- Краткая история биометрии: как была изобретена идентификация по радужке глаза
- Мыслепреступление на Android: как скрыть Перехватчик трафика от Государственных приложений
- Хак сортировки новостей по цифровому коду (Плагин для DLE 13-19.1)
- Путаница в уязвимостях WSUS: ставим все на свои места
- Хостеры против VPN: что на самом деле скрывают поправки “Антифрод 2.0”
- Как я чуть не потерял свои скрипты из-за того, что РКН и Telegram не поделили IP-адреса
- Sber X-TI: разбираем бесплатную платформу кибербезопасности от Сбера