Удалось запустить на телефоне пиксель 6 лингво нейронку LLaMa ужатую до 7 (альпака лора была настроена пока именно на 7 миллиардов параметров, и ответы могут быть удачнее именно на ней ) или 13 миллиардов параметров и 4 битных зависимостей. До установки её можно опробовать в гугл колаб.

Источник: Хабрахабр

Источник: hju

Перейти на сайт

Другие материалы на сайте b.Z - Записки о гаджетах, людях и музыке