Bonsai 2: Новая модель от PrismML

Компания PrismML представила свою новую модель Bonsai 2, которая использует тернарное сжатие Qwen3.8 27B. Эта модель отличается тем, что веса кодируются в значениях {-1, 0, +1} с использованием FP16-скейлинга, что позволяет значительно уменьшить её размер. Полная версия модели сжата более чем в 9 раз и занимает всего 5,9 ГБ, что делает её доступной для локального запуска на обычном оборудовании.

Модель Bonsai 2 поддерживает мультимодальность, что позволяет работать как с текстом, так и с изображениями. Она также способна вызывать инструменты и выполнять длинные агентные сценарии, что делает её универсальным инструментом для различных задач. Среди её сильных сторон можно выделить reasoning, кодинг и vision.

Среди других характеристик модели стоит отметить:
<ul>
<li>1,76 эффективных бита на вес;</li>
<li>98,2% качества по сравнению с полной версией (83,9 против 85,4);</li>
<li>Скорость обработки до 143 токенов/сек на RTX 5090 и 46,8 токенов/сек на M5 Max;</li>
<li>Контекст до 262K токенов;</li>
<li>Энергоэффективность на 40% выше, чем у полнопрецизионной 8B-модели.</li>
</ul>

Предыдущая версия модели обеспечивала 95% качества, а новая версия достигла 98,2%, что говорит о практически безупречном качестве. Bonsai 2 запускается на NVIDIA через CUDA и на Apple через MLX, что делает её доступной для широкой аудитории разработчиков.

Для более подробной информации о возможностях и применении модели Bonsai 2 вы можете посетить сайт Нейро Отличник.

Нейро Отличник