Google DeepMind представила новую мультимодальную модель EmbeddingGemma 2, способную кодировать текст, изображения, видео и аудио. Модель доступна под лицензией Apache 2.0.
Кратко:
●EmbeddingGemma 2 кодирует текст, изображения, видео и аудио.
●Доступна под лицензией Apache 2.0.
●Поддержка до 8 192 токенов и 740M параметров.
●Оптимизирована для работы на устройствах.
Google DeepMind анонсировала EmbeddingGemma 2
Сегодня, 12 октября 2026 года, Google DeepMind представила новую мультимодальную модель EmbeddingGemma 2, способную кодировать текст, изображения, видео и аудио в единое пространство векторных эмбеддингов. Модель доступна под свободной лицензией Apache 2.0, что открывает широкие возможности для её использования в различных приложениях.
Технические характеристики и особенности
EmbeddingGemma 2 — это модель с ~740 миллионами параметров, где базовый текстово-кодовый блок занимает 270M параметров. Дополнительно можно подключать визуальный энкодер (+170M) и аудиоэнкодер (+300M). Все модальности кодируются в 768-мерное векторное пространство, что позволяет эффективно объединять текст, код, изображения, видео и аудио.
Модель поддерживает до 8 192 токенов, что соответствует примерно 5,5 минутам аудио или 29 изображениям на вход. Структура модели позволяет динамически подключать только нужные энкодеры, обеспечивая вес от 270M до 740M параметров в зависимости от конфигурации.
Производительность и эффективность
EmbeddingGemma 2 показывает улучшенные результаты по задачам с кодом, улучшив предыдущие показатели на 9,92 пункта по MTEB Code Benchmark. Кроме того, модель демонстрирует отличные результаты в задачах поиска и восстановления по изображениям, видео и аудио, превосходя модели такого же и большего размера.
На Google Pixel 11 Pro модель может работать на ~191 МБ оперативной памяти (только текст), и ~567 МБ в полной мультимодальной конфигурации. Используется Matryoshka Representation Learning для динамической обрезки эмбеддингов, что позволяет экономить память без значительной потери качества.
Применение и кейсы
Модель оптимизирована для выполнения на устройствах (Edge AI), что позволяет создавать приложения с минимальной задержкой и без подключения к облаку. Это открывает возможности для мультимодального поиска, классификации и кластеризации на устройствах. Например, поиск конкретного момента на видео с помощью голосовой заметки или работа с мультимодальными RAG-системами офлайн.
EmbeddingGemma 2 доступна для загрузки и интеграции в проекты, что делает её привлекательной для разработчиков, стремящихся внедрять передовые AI-технологии в свои приложения.
Частые вопросы
Что нового в EmbeddingGemma 2?
Модель поддерживает мультимодальность, объединяя текст, изображения, видео и аудио в единое пространство векторных эмбеддингов. Она также доступна под лицензией Apache 2.0.
Какие устройства поддерживают EmbeddingGemma 2?
Модель оптимизирована для работы на устройствах, таких как смартфоны и ноутбуки, обеспечивая минимальную задержку и возможность работы офлайн.
Каковы возможности модели в обработке текста и кода?
EmbeddingGemma 2 улучшила результаты по задачам с кодом и сохраняет высокий уровень качества по мультиязычным текстовым задачам.
Какая лицензия используется для EmbeddingGemma 2?
Модель распространяется под лицензией Apache 2.0, что позволяет её свободное и коммерческое использование.
