Transformers.js v3: поддержка WebGPU и новые модели
Анна Волкова4 августа 2026 г.5 мин чтения
В Transformers.js v3 добавлена поддержка WebGPU, ускоряющая инференс в 100 раз, и расширена база моделей до 120 архитектур.
Кратко:
●Поддержка WebGPU для ускорения инференса
●Новые форматы квантизации и 120 архитектур
●Более 1200 моделей в базе Hugging Face
●Совместимость с JavaScript-рантаймами Node.js, Deno и Bun
Революция в браузерных мощностях: поддержка WebGPU
Transformers.js версии 3, выпущенная 22 октября 2024 года, претерпела значительные изменения благодаря поддержке WebGPU. Это новшество позволяет увеличить скорость инференса в браузере до 100 раз, предоставляя прямой доступ к мощностям современных графических процессоров. Для активации WebGPU достаточно указать опцию device: 'webgpu' в pipeline.
Новые форматы квантизации и расширенная поддержка моделей
Обновлённая версия поддерживает новые форматы квантизации, такие как fp32, fp16, q8 и q4. Это позволяет тонко настраивать баланс между производительностью и точностью, что особенно важно для работы в браузере. Поддержка расширена до 120 архитектур, включая такие модели, как Phi‑3, Gemma & Gemma 2, LLaVa и другие.
База моделей и примерные проекты
В новой версии опубликовано более 1200 моделей, доступных на Hugging Face Hub. Для конвертации моделей в формат, совместимый с Transformers.js, можно использовать скрипт:
Кроме того, выпущено 25 новых примерных проектов, многие из которых демонстрируют возможности WebGPU.
Совместимость с JavaScript-рантаймами
Transformers.js теперь поддерживает Node.js, Deno и Bun, что делает его полезным не только в браузере, но и для серверных приложений. Это открывает новые возможности для разработчиков, использующих различные платформы.
Организационные изменения
Пакет теперь публикуется под именем @huggingface/transformers на NPM, а репозиторий проекта перенесён в официальную организацию Hugging Face на GitHub.
Частые вопросы
Что такое WebGPU и почему это важно?
WebGPU — это новый API для доступа к графическим процессорам, который значительно ускоряет инференс моделей в браузере.
Какие модели теперь поддерживаются в Transformers.js v3?
Поддерживается 120 архитектур, включая новые модели от компаний, таких как Cohere, Google и Microsoft.
Как использовать новые возможности в своих проектах?
Для активации WebGPU достаточно указать в pipeline опцию device: 'webgpu', а для конвертации моделей — использовать предоставленный скрипт.
Как можно использовать Transformers.js на сервере?
Поддержка Node.js, Deno и Bun позволяет интегрировать Transformers.js для серверных приложений и инструментов.
