Запускаем на телефоне нейронку LLaMa 7B -13B 4 bit от фейсбука с настройкой Alpaca-LoRA
Удалось запустить на телефоне пиксель 6 лингво нейронку LLaMa ужатую до 7 (альпака лора была настроена пока именно на 7 миллиардов параметров, и ответы могут быть удачнее именно на ней ) или 13 миллиардов параметров и 4 битных зависимостей. До установки её можно опробовать в гугл колаб.
Читать далееИсточник: Хабрахабр
Похожие новости
- Реанимируем труп Redmi Watch 5
- Сапборд с мотором и немного о физике
- Ch4IR: мой 4х канальный видеорекордер на Android который не умеет делать запись
- Возвращение испанской барахолки: аудиосистемы, интернет по проводке, баян и кое-что еще
- Почему раздвижные смартфоны так и не появились: разбор LG Rollable
- Китайский шедевр сумрачного гения из 2000-х
- Проводной телефон по воздуху. Или снова NR712 в деле
- Пять мини-ПК середины весны: от производительных систем с водянкой до офисного «железа»
- «Видеогол» и VAR: как устроены системы спортивного судейства и их обслуживание
- [Перевод] Бюджетный Polaroid. Ну, почти