Inclusion AI представила метод UBTree для ускорения вывода больших языковых моделей.
Кратко:
- ●Inclusion AI предложила метод UBTree для ускорения вывода языковых моделей.
- ●UBTree достигает ускорения до 6.94× на моделях Qwen3-4B и Qwen3-8B.
- ●Метод использует параллельную сборку дерева черновиков и биграммный селектор.
- ●Почему важно: UBTree улучшает производительность и сокращает задержки в работе с языковыми моделями.
Сегодня Inclusion AI представила метод спекулятивного декодирования под названием UBTree, который значительно ускоряет вывод больших языковых моделей. UBTree относится к семейству параллельных драфтеров и решает проблемы, свойственные предшественникам, таким как DFlash и DSpark.
Как работает UBTree
Метод UBTree предлагает ускорение до 6.94× на моделях Qwen3-4B и Qwen3-8B. Основой метода является параллельная генерация токенов с использованием unigram proposer и эффективного bigram selector. В отличие от своих предшественников, UBTree строит дерево черновиков, что позволяет целевой модели проверять и принимать токены быстрее.
Архитектура
- ●Unigram proposer — быстро предлагает топ-K кандидатов для каждого шага.
- ●Bigram selector — оценивает пары «предшественник → преемник» параллельно.
- ●Конструкция дерева — на основе лог-вероятностей строится дерево, которое проверяется одним проходом.
UBTree сохраняет разнообразие путей и уменьшает потери при высокоэнтропийных распределениях.
Результаты
На моделях Qwen3-4B и Qwen3-8B UBTree достигает ускорения до 6.94× при жадном декодировании. На Ling-3.0-Flash 124B метод обеспечивает ускорение в 5.36×. В задачах с длинным контекстом UBTree превосходит DSpark на 34.6–42.1% по принятой длине.
Кроме того, UBTree снижает задержку постобработки драфтов на 58.8%, что улучшает общее время обработки токенов.
Интеграция и доступность
Checkpoint‑ы моделей UBTree уже доступны под MIT‑лицензией на Hugging Face. Поддержка метода реализована в ветке asahi/ubtree проекта SGLang.
Что это значит
Метод UBTree от Inclusion AI открывает новые возможности для ускорения работы больших языковых моделей. Это особенно важно для приложений, требующих обработки длинных контекстов и минимальных задержек, таких как AI в юридической практике или высоконагруженные системы AWS.
Частые вопросы
Что такое UBTree?
▾
Метод спекулятивного декодирования для ускорения вывода больших языковых моделей.
Как UBTree ускоряет вывод?
▾
Используя параллельную сборку дерева черновиков и биграммный селектор.
На каких моделях тестировался UBTree?
▾
На Qwen3-4B, Qwen3-8B и Ling-3.0-Flash 124B.
Где доступен UBTree?
▾
На Hugging Face под MIT-лицензией и в проекте SGLang.
