<figure><img src="https://res.cloudinary.com/dcsny9dt4/image/upload/v1779305806/Slide_4_3_-_2_usuik5.png"></figure>
<p>В свежем релизе <b>FlashMemory-Deepseek-V4</b> разработчики предложили способ радикально снизить требования к памяти для языковых моделей при работе с длинными контекстами. Ключевая особенность — почти 90% экономии памяти на контексте в 500 тысяч токенов благодаря новому подходу к кэшированию.</p>
<h2>Как это работает</h2>
<p>Вместо хранения всего объёма данных, модель использует лёгкий <b>ретривер</b>, который прогнозирует, какие блоки кэша <b>CSA (Compressed-Sparse-Attention)</b> понадобятся для генерации следующих примерно 64 токенов. Оценка строится на скрытом состоянии текущего декодируемого токена, что позволяет не держать в памяти лишние данные и обращаться только к нужным фрагментам.</p>
<h3>Что это даёт</h3>
<ul>
<li>Существенное снижение нагрузки на память без потери качества ответов.</li>
<li>Возможность работы с очень длинными контекстами на ограниченных ресурсах.</li>
<li>Гибкость интеграции: модель не требует сложной настройки и может быть внедрена в существующие пайплайны.</li>
</ul>
<p>Проект уже доступен на GitHub и Hugging Face для тестирования и внедрения.</p>
Нейро Отличник
www.neurootlichnik.ru