В предыдущей статье я обратил внимание на интересное поведение Weight Decay, здесь я рассматриваю его более подробно. 

В индустрии ML принято считать: если мы берем обученную модель и делаем Fine-Tuning на новой задаче, старые веса постепенно перезаписываются. А если добавить Weight Decay (L2-регуляризацию), то процесс забывания лишнего должен идти еще быстрее.

Я проверил это утверждение экспериментально. Результаты оказались контринтуитивными: при определенных настройках Weight Decay работает ровно наоборот — защищает старую структуру от разрушения.

Ниже — описание эксперимента и выводы для тех, кто занимается обучением и безопасностью моделей.

Источник: Хабрахабр

Источник: Kamil_GR

Перейти на сайт

Другие материалы на сайте b.Z - Записки о гаджетах, людях и музыке