BigChatHub
ExecuTorch 0.7: ИИ на устройствах Arm для всех

ExecuTorch 0.7: ИИ на устройствах Arm для всех

Дмитрий Орлов5 мин чтения

ExecuTorch 0.7 от Arm и Meta предлагает генеративный ИИ на устройствах Arm, упрощая интеграцию и повышая производительность.

Кратко:

  • ●ExecuTorch 0.7 от Arm и Meta нацелен на массовое внедрение ИИ
  • ●Автоматическое аппаратное ускорение на процессорах Arm
  • ●Улучшенная поддержка Android и iOS
  • ●KleidiAI интегрирован по умолчанию для оптимизации

Релиз ExecuTorch 0.7: что нового?

12 августа 2025 года Arm и Meta анонсировали релиз ExecuTorch 0.7, фреймворка, ориентированного на генеративный ИИ на устройствах с процессорами Arm. Новая версия предлагает множество улучшений для разработчиков и пользователей.

Автоматическое аппаратное ускорение

ExecuTorch 0.7 включает в себя KleidiAI, который активируется по умолчанию, обеспечивая автоматическое аппаратное ускорение на процессорах Arm. Это означает, что разработчики могут существенно сократить затраты на оптимизацию под различное железо. Благодаря этому, производительность генеративного ИИ повышается даже на устройствах возрастом до пяти лет и на Raspberry Pi 5.

Новые возможности фреймворка

В GitHub-репозитории ExecuTorch 0.7 выделяются ключевые нововведения:

  • ●Экспорт LLM через новый API export_llm.
  • ●Generic Text LLM Runner с полной интеграцией на Android и iOS.
  • ●Новый формат .ptd для разделения программы и данных.
  • ●Оптимизация низкоразрядной матричной мультипликации благодаря KleidiAI.

Эти улучшения делают ExecuTorch 0.7 более доступным и удобным для разработчиков, предоставляя им мощный инструмент для создания приложений на основе ИИ.

Применение в реальном мире

Благодаря этим изменениям, использование генеративного ИИ на устройствах массового рынка становится реальностью. Приватные голосовые ассистенты и локальные кодовые генераторы теперь могут работать автономно, без необходимости в облачных вычислениях. Это особенно актуально для приложений, где важна приватность и низкое энергопотребление.

ExecuTorch 0.7 открывает новые горизонты для разработчиков, стремящихся интегрировать ИИ в устройства массового рынка. Это важный шаг на пути к более повсеместному применению ИИ в повседневной жизни. Как ИИ меняет учебники: проект Google Research и SchoolAI: платформа, расширяющая возможности учителей — яркие примеры того, как ИИ может улучшить образовательные процессы.

Частые вопросы

Что такое ExecuTorch 0.7?

▾

ExecuTorch 0.7 — это фреймворк для on-device ИИ, разработанный Arm и Meta, который упрощает внедрение генеративного ИИ на устройствах с процессорами Arm.

Какие преимущества у ExecuTorch 0.7?

▾

Фреймворк предлагает автоматическое аппаратное ускорение, улучшенную интеграцию для Android и iOS, а также оптимизацию за счёт KleidiAI.

Как это повлияет на разработчиков?

▾

Разработчики могут быстрее и проще внедрять ИИ в свои приложения, не беспокоясь о сложных процессах оптимизации для различных устройств.

Какие устройства поддерживаются?

▾

ExecuTorch работает на устройствах с процессорами Arm, включая модели возрастом до 3–5 лет и Raspberry Pi 5.

Источники

  1. executorch · PyPI
  2. Arm Community
  3. Releases · pytorch/executorch · GitHubОб источнике: GitHub
Поделиться:Telegram

Читайте также

Обучение

Гайды

Инструменты

Промпты