Ошибок в тексте и коде у моделей маскированной диффузии теперь станет меньше

В лаборатории научных исследований Т-Технологий и Институте ИИ и цифровых наук ФКН НИУ ВШЭ разработали G-Star+ — новый метод для моделей маскированной диффузии, который помогает снижать количество ошибок при генерации текста и кода. Работа была представлена на конференции ICML 2026 в Сеуле.

Главная особенность G-Star+ — умение находить и исправлять потенциально ошибочные фрагменты прямо в процессе генерации. В стандартных маскированных диффузионных моделях, если на раннем этапе был выбран неудачный токен, исправить его позже практически невозможно: он фиксируется и влияет на всё последующее. Новый метод действует как внутренний редактор — он отслеживает, где вероятность ошибки высока, и позволяет переписать только эти места, не трогая остальное.

Технически G-Star+ не требует полного переобучения модели: достаточно дообучить всего один дополнительный слой. Это экономит ресурсы и ускоряет внедрение метода в существующие решения.

<h2>Где пригодится G-Star+</h2>

Метод уже протестирован на семи различных бенчмарках, включая задачи генерации кода, текста и следования инструкциям. Особенно хорошо себя показал в режимах быстрой генерации (от 64 до 256 шагов).

<ul>
<li>ИИ-ассистенты, где важно минимизировать ошибки в ответах</li>
<li>Чат-боты, которым требуется точность при работе с текстом</li>
<li>Автодополнение кода — для снижения количества синтаксических и логических ошибок</li>
</ul>

G-Star+ позволяет сосредоточить вычисления на действительно сложных участках, не тратя ресурсы на исправление уже корректных фрагментов. Это делает его удобным инструментом для улучшения качества генерации без существенного увеличения затрат.

Источник: @cgevent

Нейро Отличник