Ну, LLM, погоди…

В этой статье я делюсь личным опытом выбора платформы для локального инференса (запуска) LLM. Формат - дневник инженера: детали, цифры и грабли вперемешку с эмоциями и выводами по ходу дела. Это не энциклопедия, и, совершенно точно, не "единственно правильный" рецепт, но, надеюсь, статья сэкономит...

Все блоги / Нетбуки и Планшеты