Запускаем на телефоне нейронку LLaMa 7B 4 bit от фейсбука с настройкой Alpaca-LoRA
Удалось запустить на телефоне пиксель 6 лингво нейронку LLaMa ужатую до 7 миллиардов (альпака лора была настроена пока именно на 7 миллиардов параметров, и ответы могут быть удачнее именно на ней ) или 13 миллиардов параметров и 4 бит. До установки её можно опробовать в гугл колаб.
Читать далееИсточник: Хабрахабр
Похожие новости
- Возвращение испанской барахолки: аудиосистемы, интернет по проводке, баян и кое-что еще
- Почему раздвижные смартфоны так и не появились: разбор LG Rollable
- Китайский шедевр сумрачного гения из 2000-х
- Проводной телефон по воздуху. Или снова NR712 в деле
- Пять мини-ПК середины весны: от производительных систем с водянкой до офисного «железа»
- «Видеогол» и VAR: как устроены системы спортивного судейства и их обслуживание
- [Перевод] Бюджетный Polaroid. Ну, почти
- [Перевод] Unitree R1 на AliExpress по цене Mac Pro: что на самом деле скрывается за $8150
- Ретрообзор планшета с проектором Lenovo Yoga Tablet 2 Pro
- Nvidia N1/N1X: что это за чипы и зачем они нужны в ноутбуках