Мария Соколова17 августа 2026 г.5 мин чтения
Hugging Face Infinity показал впечатляющие результаты, обеспечив миллисекундную задержку на современных процессорах Intel Xeon.
Кратко:
- ●Hugging Face Infinity снизил latency до 1–4 мс.
- ●Использовались процессоры Intel Xeon Ice-Lake.
- ●Infinity показал до 800% прироста throughput.
- ●В декабре 2022 Infinity снят с коммерческого предложения.
Тестирование Hugging Face Infinity на современных CPU
В январе 2022 года Hugging Face опубликовал результаты тестирования решения Infinity на процессорах Intel Xeon Ice-Lake. Это оптимизированное контейнеризированное решение обеспечивало значительное снижение задержки для Transformer-моделей.
Методология тестирования
Испытания проводились на EC2-инстансах Amazon C6i с процессорами Intel Xeon, поддерживающими AVX-512 и Deep Learning Boost. Для тестов использовалась модель DistilBERT, выполняющая задачи классификации. Измерения охватывали весь pipeline — от предобработки до постобработки.
