FreeToken запускает большие MoE-модели на обычном ПК

Сервис FreeToken предлагает способ запускать крупные MoE-модели на железе, которое для этого обычно не хватает по мощности. Суть в том, что вычисления не упираются только в видеокарту, а распределяются между GPU, CPU и оперативной памятью.

На практике это выглядит так: модель Qwen3.6 35B запускается на обычном игровом ноутбуке с RTX 4060 и всего 8 ГБ видеопамяти. При этом скорость генерации держится на уровне около 39 токенов в секунду — для модели такого размера это заметно выше, чем можно ожидать от карты этого класса.

С более тяжёлой моделью схема работает по тому же принципу, но с другими цифрами. DeepSeek-V4-Flash 284B — модель с 284 миллиардами параметров — запускается на RTX 5090 и выдаёт до 25 токенов в секунду. Падение скорости по сравнению с Qwen3.6 35B объяснимо: чем больше параметров, тем большую часть вычислений приходится перекладывать с GPU на CPU и память.

Здесь имеет значение сама архитектура MoE: в такой модели одновременно активна лишь часть параметров, а не вся сеть целиком. Именно на этом строится оптимизация FreeToken — часть нагрузки уходит с видеокарты на процессор и оперативную память без резкой потери скорости отклика.

По заявлению разработчиков, сервис полностью бесплатный.

Нейро Отличник