Bonsai 2 27B на своём компьютере: нейросеть на 27 миллиардов весом 5,9 ГБ (2026)

Bonsai 2 27B это открытая модель на 27 миллиардов параметров, сжатая до 5,9 ГБ и сохранившая 98,2% качества исходной Qwen3.8 27B. Она помещается в видеокарту на 8 ГБ и в обычный ноутбук, работает офлайн и бесплатно. Главная оговорка: обычная Ollama её не запустит, нужен отдельный движок от разработчика.

18 сентября 2026 года компания Prism ML выложила вторую версию своей компактной линейки Bonsai. Ниже разбор по одному вопросу: что реально получает человек с домашним компьютером, сколько памяти это съест и как поставить без плясок с компиляцией.

Словарик: термины, которые встретятся

• Троичные веса (ternary) - когда каждое число внутри модели хранят одним из трёх значений: минус единица, ноль или плюс единица. Вместо 16 бит на вес выходит меньше двух.
• bpw (бит на вес) - честная средняя стоимость хранения одного веса. У Bonsai 2 это 1,72 бита, у обычной «двухбитной» сборки Qwen3.8 на деле 2,8 бита.
• KV-кэш - память под историю диалога. Растёт линейно с длиной контекста и съедает память сверх веса самой модели.
• mmproj - отдельный файл зрительной части модели. Нужен только когда ты подаёшь картинку, для текста не грузится.
• Режим размышления (thinking) - когда модель сначала рассуждает про себя, потом отвечает. У 27B он включён по умолчанию и съедает основное время ответа.
• Форк - своя ветка чужой программы с добавленным кодом. Здесь это версия llama.cpp от PrismML с кернелами под троичные веса.

Что такое Bonsai 2 27B и почему 5,9 ГБ это много

Обычная модель хранит каждый вес 16-битным числом. Bonsai пересчитывает матрицы так, чтобы каждый вес стал одним из трёх значений, плюс один общий множитель на каждые 128 весов. Информации в троичном значении примерно 1,585 бита, и с накладными расходами модель целиком выходит на 1,72 бита на вес.

Отсюда и арифметика: 54 ГБ в FP16 превращаются в 5,93 ГБ. Сокращение примерно в девять раз.

Важная деталь, которую легко пропустить: сжали всё, включая эмбеддинги, проекции внимания, слои MLP и выходную голову. В обычных низкобитных сборках часть тензоров тихо оставляют в высокой точности, и заявленная «двухбитность» оказывается ближе к трём битам. Здесь 1,72 бита это настоящая средняя цифра, вне ternary остались только 26,2 миллиона параметров, это 0,0976% от языковой части.

Зрительная часть идёт отдельным файлом на 0,63 ГБ и грузится только если ты отправил картинку. Текстовая работа за него не платит.

Сколько качества осталось после сжатия

Тут и прячется настоящая новость. Сжать модель в девять раз умеют многие, вопрос в том, что от неё остаётся. PrismML прогнала 14 тестов в режиме размышления на одинаковой инфраструктуре и сравнила с обычными сборками той же Qwen3.8 27B.

Вариант	Бит на вес	Размер	Средний балл	От FP16
Qwen3.8-27B FP16 (оригинал)	16,0	54 ГБ	86,32	100%
Qwen3.8-27B UD-Q4_K_XL («4 бита»)	5,2	17,6 ГБ	85,18	98,7%
Qwen3.8-27B IQ2_XXS («2 бита»)	2,8	9,4 ГБ	72,59	84,1%
Bonsai 2 27B	1,72	5,9 ГБ	84,78	98,2%

Смотри на третью строку. Обычная двухбитная сборка весит в полтора раза больше Bonsai и при этом теряет двенадцать баллов.

Причём теряет неравномерно, и это самое коварное. На тесте общих знаний MMLU-Redux та же IQ2_XXS держит приличные 88,93, а на олимпиадной математике AIME26 падает до 57,5 и на задачах по коду LiveCodeBench до 56,4. Человек задаёт пару простых вопросов, видит нормальные ответы и не замечает, что длинные цепочки рассуждений у модели сломаны. Bonsai 2 на этих же тестах выдаёт 95,83 и 90,07.

Главная ловушка: Ollama эту модель не запустит

Вот тот пункт, ради которого стоит дочитать до конца. В пересказах новости пишут «ставится через Ollama или LM Studio», и это неправда.

Веса Bonsai 2 хранятся в повёрнутом базисе: перед сжатием каждую матрицу прокручивают ортогональным преобразованием Адамара, а движок обязан применить встречное преобразование к активациям во время работы. Этот код пока живёт только в форке PrismML, в основной llama.cpp он ещё не принят.

Стоковый llama.cpp эти файлы не запустит. PQ2_0 и PTQ1_0 он отвергает как неизвестный тип, а файл Q2_0 грузит без единого предупреждения и выдаёт бессмыслицу, потому что у него нет рантайма Адамара.

- карточка модели Ternary-Bonsai-2-27B-gguf на Hugging Face

На Apple Silicon есть обходной путь: вариант в формате MLX запускается на стоковом mlx-lm и подхватывается LM Studio. Весит он больше, 8,49 ГБ вместе с полноточной зрительной частью, зато ставится без возни. Если ты уже сидишь на LM Studio или Ollama, это самый короткий маршрут для Mac.

Какое железо нужно: считаем память честно

Вес файла и занятая память это разные числа, и разница тут большая. Сверх весов модель держит KV-кэш, а он на 27B стоит 64 КиБ на каждый токен контекста.

Контекст	KV-кэш	Всего с весами PTQ1_0	Какая карта подойдёт
8 тыс. токенов	0,5 ГБ	около 6,5 ГБ	8 ГБ, впритык
16 тыс. токенов	1 ГБ	около 7 ГБ	8 ГБ, без запаса
32 тыс. токенов	2 ГБ	около 8 ГБ	10-12 ГБ
64 тыс. токенов	4 ГБ	около 10 ГБ	12-16 ГБ
262 тыс. токенов	16 ГБ	около 22 ГБ	24 ГБ и выше

Отсюда честный вывод про восьмигигабайтную карту: модель туда заезжает, но с контекстом в 8-16 тысяч токенов. Обещанные 262 тысячи требуют 22 ГБ памяти, и это цифра для профессиональных карт. Если ты подбираешь железо под локальные модели вообще, у нас есть отдельный разбор по видеокартам на 8 ГБ с замерами скорости.

Если памяти впритык, есть два рычага. Переменная BONSAI_KV4=1 включает четырёхбитный кэш и режет его примерно в 3,5 раза: те же 32 тысячи токенов обойдутся примерно в 0,6 ГБ вместо двух. И BONSAI_MMPROJ_CPU=1 оставляет зрительную часть в оперативной памяти, возвращая видеокарте почти гигабайт.

Как поставить Bonsai 2 27B на свой компьютер

Разработчик сделал правильную вещь: собрал репозиторий, который сам ставит зависимости, качает веса и подтягивает готовые бинарники под твою платформу. Компилировать ничего не нужно.

Что скрипт делает под капотом: ставит системные инструменты сборки, разворачивает менеджер пакетов uv и виртуальное окружение Python, качает веса с Hugging Face в папку models, забирает готовые бинарники форка llama.cpp в папку bin, а на Apple Silicon собирает MLX. Глобально в системе ничего не остаётся, кроме инструментов сборки: удалил папку Bonsai-demo и забыл.

Основное время съедают два пункта: скачивание весов и установка Open WebUI с интерпретатором кода для агентского демо. Второе можно отключить переменными BONSAI_OPENWEBUI=0 и BONSAI_CODE_INTERPRETER=0, если тебе нужна только модель.

Ручной путь без репозитория тоже рабочий, если ты уже живёшь в терминале:

# забрать готовый бинарник форка под свою платформу
# https://github.com/PrismML-Eng/llama.cpp/releases/latest
tar -xzf llama-<tag>-bin-<platform>.tar.gz -C bin --strip-components=1

# скачать веса
hf download prism-ml/Ternary-Bonsai-2-27B-gguf Ternary-Bonsai-2-27B-PTQ1_0.gguf --local-dir .

# запустить
./bin/llama-cli -m Ternary-Bonsai-2-27B-PTQ1_0.gguf -ngl 99 -fa on -c 32768 \
  --temp 1.0 --top-p 0.95 --top-k 20 -p "Объясни своими словами, что такое KV-кэш." -n 256

Флаг -ngl 99 отдаёт все слои видеокарте, без него модель будет считаться на процессоре и работать в разы медленнее.

Как попробовать без установки

Если качать 7,8 ГБ ради любопытства не хочется, есть четыре способа потрогать модель прямо сейчас:

1. Хостинговое демо на Hugging Face Spaces - модель крутится на чужой видеокарте, от тебя нужен только браузер. Самый быстрый вариант.
2. WebGPU прямо в браузере - модель скачивается в браузер и считается на твоей видеокарте. Ставить ничего не надо, но первую загрузку придётся подождать.
3. Блокнот в Google Colab - готовый ноутбук, который качает и запускает Bonsai на бесплатной машине Colab.
4. Приложение Locally AI для iPhone и iPad - модель работает прямо на телефоне, полностью на устройстве.

Работает ли Bonsai 2 27B из России

Сама модель работает офлайн. После того как веса лежат на диске, интернет ей не нужен вообще: ни аккаунта, ни ключа API, ни проверки лицензии. Это тот случай, когда вопрос «забанят ли меня по российскому IP» просто не возникает.

Сеть нужна ровно один раз, чтобы скачать файл. Веса лежат на Hugging Face, а он из России ведёт себя непредсказуемо: у нас 19 сентября 2026 года файл на 5,95 ГБ качался напрямую, без VPN, на скорости около 5,6 МБ/с и доехал за восемнадцать минут. У соседа по провайдеру загрузка может оборваться на середине. Если у тебя второй случай, поможет рабочий VPN, включённый только на время скачивания.

Бинарники форка лежат на GitHub, и он из России обычно открывается без ухищрений.

Сколько токенов в секунду выдаёт на реальном железе

Цифры ниже измерены самой PrismML утилитой llama-bench при одном запросе и коротком контексте. Для карт NVIDIA взята лучшая из двух упаковок, они выигрывают на разном железе. Замеры на Apple сделаны на более ранней сборке движка и у разработчика помечены как ожидающие пересчёта.

Комфортное чтение начинается где-то с 15-20 токенов в секунду, так что в зелёной зоне тут вся линейка. Отдельно стоит отметить L4: карта на 72 ватта выдаёт 32 токена в секунду против 300-455 ватт у настольных NVIDIA. На ноутбуке M5 Pro видеоядро в этом режиме ест 27,5 ватта.

Про энергию у разработчика есть отдельная цифра: троичные модели тратят примерно в 4-5 раз меньше на токен, чем шестнадцатибитные. Для ноутбука от батареи это заметная разница.

Если присматриваешь машину специально под такие задачи, посмотри разбор Mac mini на M6 как домашней ИИ-станции: там та же логика с пропускной способностью памяти, от которой скорость и зависит.

PTQ1_0 или PQ2_0: какой файл качать

В репозитории лежат две упаковки одних и тех же весов, и выбор между ними не сводится к «больше значит быстрее».

Упаковка	Размер	Бит на вес	Когда брать
PTQ1_0	5,95 ГБ	1,75	памяти в обрез; быстрее на RTX 4090, RTX 6000 Ada и L4
PQ2_0	7,21 ГБ	2,13	быстрее обрабатывает промпт везде; быстрее на H100, A100 и Blackwell

PTQ1_0 упаковывает троичные значения плотно и двигает на 17% меньше данных за шаг, но распаковка стоит вычислений. PQ2_0 кладёт каждое значение в отдельный двухбитный слот: файл толще, распаковка дешевле. Репозиторий по умолчанию качает PQ2_0.

Практическое правило: если у тебя карта на 8-12 ГБ, бери PTQ1_0 ради полутора гигабайт экономии. Если памяти хватает с запасом, бери PQ2_0 ради быстрой обработки длинных промптов.

Куда её подключить

Модель поднимается как сервер с API, совместимым с OpenAI, на localhost:8080. Это значит, что почти любой инструмент, умеющий работать с чужим эндпоинтом, к ней подключится.

• Open WebUI - интерфейс в стиле ChatGPT со своей историей чатов, ставится тем же скриптом.
• OpenClaw - личный агент, который умеет ходить по файлам и запускать команды. Как он устроен, мы разбирали в гайде про личного ИИ-агента на своей машине.
• Hermes - терминальный агент от Nous Research, у нас про него есть отдельный разбор на рабочей задаче.

Вызов инструментов и картинки на вход работают через стандартный API, без хаков с промптами: кидаешь массив tools или блок image_url, получаешь tool_calls в ответе. По тесту BFCL v3 агентские вызовы держатся на 74,92 против 76,74 у полноразмерной модели, то есть агентское поведение сжатие пережило.

Что стоит знать до установки

Модель размышляет по умолчанию, и на 27B это съедает основное время ответа. Выключается переменной BONSAI_THINKING=0 при старте сервера или ограничивается флагом --reasoning-budget N. В самом чате есть переключатель усилия рассуждений, и он сохраняется в браузере поверх серверной настройки: если ответы упорно медленные после выключения размышлений, причина почти всегда в нём.

Заявленный низкий уровень усилия модель не поддерживает: при выборе low она ведёт себя примерно как на xhigh. Реально ограничить объём размышлений можно только бюджетом токенов.

На Mac с чипом M5 и некоторыми сборками macOS 26 встречается ошибка компиляции Metal, после которой всё валится в нехватку памяти. Лечится переменной GGML_METAL_TENSOR_DISABLE=1, скорость Metal при этом сохраняется. Машины с M1 по M4 проблемы не видят.

Чек-лист: что у тебя теперь есть

• Понимание, что Bonsai 2 27B это полноразмерная Qwen3.8 27B на 5,93 ГБ с 98,2% сохранённого качества.
• Знание главной ловушки: обычная Ollama и стоковый llama.cpp эти файлы не запускают. Файл Q2_0 на стоковом движке выдаёт мусор молча.
• Таблица памяти под контекст: 8 ГБ хватает на 8-16 тысяч токенов, 32 тысячи требуют 10-12 ГБ, полные 262 тысячи требуют 22 ГБ.
• Готовый маршрут установки в четыре шага одним скриптом под macOS, Linux и Windows, без компиляции.
• Четыре способа попробовать модель вообще без установки, включая браузер и iPhone.
• Выбор между PTQ1_0 и PQ2_0 под своё железо.
• Рычаги на случай нехватки памяти: BONSAI_CTX, BONSAI_KV4=1, BONSAI_MMPROJ_CPU=1.

Локальные модели давно перестали быть игрушкой для энтузиастов с двумя видеокартами. Мощности домашнего железа на 27B уже хватает. Спотыкаются люди на пятнадцати строках документации, которые никто не читает. Теперь ты их прочитал.

По материалам SiliconANGLE, карточки модели на Hugging Face и документации PrismML.