Разбор Weight Decay: Как регуляризация не стирает, а фиксирует старые знания

В предыдущей статье я обратил внимание на интересное поведение Weight Decay, здесь я рассматриваю его более подробно. 

В индустрии ML принято считать: если мы берем обученную модель и делаем Fine-Tuning на новой задаче, старые веса постепенно перезаписываются. А если добавить Weight Decay (L2-регуляризацию), то процесс забывания лишнего должен идти еще быстрее.

Я проверил это утверждение экспериментально. Результаты оказались контринтуитивными: при определенных настройках Weight Decay работает ровно наоборот — защищает старую структуру от разрушения.

Ниже — описание эксперимента и выводы для тех, кто занимается обучением и безопасностью моделей.

Источник: Хабрахабр