Запускаем на телефоне нейронку LLaMa 7B 4 bit от фейсбука с настройкой Alpaca-LoRA
Удалось запустить на телефоне пиксель 6 лингво нейронку LLaMa ужатую до 7 миллиардов (альпака лора была настроена пока именно на 7 миллиардов параметров, и ответы могут быть удачнее именно на ней ) или 13 миллиардов параметров и 4 бит. До установки её можно опробовать в гугл колаб.
Читать далееИсточник: Хабрахабр
Похожие новости
- Одноплатники лета 2025: интересные предложения производителей. Что сейчас можно найти?
- Как я делал LoRa + GPS-трекер для соревнований по спортивному ориентированию
- Обзор ноутбуков для незрячих пользователей
- Toshiba T1800: ноутбук из 90-х, который побывал под водой и запустился
- Обзор электронной книги ОНИКС БУКС Фарадей 2: 7.8-дюймовый цветной экран E Ink Kaleido 3, 3/32 Гб памяти, смарт-обложка
- Ремонт Nintendo Switch Lite после залития водой. Это не всегда приговор
- Я тестировщик и два месяца работал без рук. Вот, что я понял
- Новые модели электронных книг 2025 года и кое-что еще. Что предлагает рынок?
- Apple Pro Weekly News (16.06 – 22.06.25)
- Ответы на самые популярные вопросы по использования умного лотка для кошек