Вайб-кодинг 15.07.2026 04:15
Вышла первая модель класса 27B, способная работать на смартфоне
PrismML представила Bonsai 27B — 1-битную и тернарную версии Qwen3.6-27B.
Благодаря низкобитному представлению размер исходной FP16-модели удалось сократить с 54 до 3,9 ГБ — примерно на 93%, или в 14 раз.
Доступны две версии:
> 1-bit Bonsai 27B — 3,9 ГБ
Оптимизирована для запуска на смартфонах и использует 1,125 эффективного бита на вес.
> Ternary Bonsai 27B — 5,9 ГБ
Ориентирована на ноутбуки и использует 1,71 эффективного бита на вес.
Тернарная версия сохраняет около 95% производительности модели с полной точностью, а 1-битная — около 90%. Оценка охватывает рассуждения, математику, программирование, следование инструкциям, использование инструментов и работу с изображениями.
Обе версии опубликованы с открытым исходным кодом под лицензией Apache 2.0.
Благодаря кастомным WebGPU-ядрам, разработанным при помощи Fable 5 и GPT-5.6 Sol, Bonsai 27B может запускаться локально прямо в браузере — без отправки данных в облако.
Веса 👍
#vk_feedPrismML представила Bonsai 27B — 1-битную и тернарную версии Qwen3.6-27B.
Благодаря низкобитному представлению размер исходной FP16-модели удалось сократить с 54 до 3,9 ГБ — примерно на 93%, или в 14 раз.
Доступны две версии:
> 1-bit Bonsai 27B — 3,9 ГБ
Оптимизирована для запуска на смартфонах и использует 1,125 эффективного бита на вес.
> Ternary Bonsai 27B — 5,9 ГБ
Ориентирована на ноутбуки и использует 1,71 эффективного бита на вес.
Тернарная версия сохраняет около 95% производительности модели с полной точностью, а 1-битная — около 90%. Оценка охватывает рассуждения, математику, программирование, следование инструкциям, использование инструментов и работу с изображениями.
Обе версии опубликованы с открытым исходным кодом под лицензией Apache 2.0.
Благодаря кастомным WebGPU-ядрам, разработанным при помощи Fable 5 и GPT-5.6 Sol, Bonsai 27B может запускаться локально прямо в браузере — без отправки данных в облако.
Веса 👍
Комментарии (0)
Пока нет комментариев. Будьте первым!