Decision 2.0

Недавно было представлено новое семейство открытых decision-моделей от vLLM Semantic Router, которое предлагает инновационный подход к обработке запросов. Эти модели не генерируют текст, а отвечают на вопросы с вариантами ответа, используя простые форматы: да/нет или оценка по шкале. Это позволяет получить результаты с вероятностью для каждого варианта всего за один проход.

Основные характеристики моделей включают:
<ul>
<li>Ответы на вопросы выбора, да/нет и по шкале за один проход.</li>
<li>Вероятность для каждого варианта вместо генерации текста.</li>
<li>Входные данные могут быть представлены в виде текста или JSON.</li>
<li>Режим роутинга запросов, который помогает определить, какой команде передать тикет, есть ли чек и насколько срочно.</li>
</ul>

Модели представлены в шести размерах: от 0.6B до 27B, включая Vega-27B, Lux-9B, Nox-4B, Sol-2B, Eos-0.8B и Kai-0.6B. Vega-27B выделяется как лучший в своем семействе, имея топ-скоор JevArena для своего размера, равный 74.0.

Контекст моделей составляет 32,768 токенов, а медиана времени ответа на вопрос на одной GPU составляет 71.4 мс. Это делает их эффективными для быстрого получения ответов на запросы.

Для более подробной информации можно посетить официальный репозиторий на GitHub.

Таким образом, Decision 2.0 представляет собой значительный шаг вперед в области обработки запросов, предлагая пользователям более быстрые и точные ответы на их вопросы.

Нейро Отличник