В сентябре 2023 года Falcon 180B от TII стал одной из мощнейших открытых языковых моделей, сравнимой с закрытыми аналогами, такими как GPT-4.
Кратко:
●Falcon 180B обучена на 3,5 трлн токенов.
●Использует 180 млрд параметров.
●Сопоставима с PaLM-2 Large по качеству.
●Доступна на Hugging Face, но с ограничениями API.
Falcon 180B: открытая языковая модель нового поколения
В сентябре 2023 года Technology Innovation Institute (TII) из Абу-Даби представил Falcon 180B — одну из самых продвинутых открытых языковых моделей. Она сравнима с закрытыми моделями, такими как PaLM-2 Large и GPT-4, и предлагает уникальные возможности для исследователей и разработчиков.
Ключевые характеристики
Falcon 180B обладает впечатляющими техническими характеристиками:
●
Параметры: 180 миллиардов параметров делают её одной из крупнейших моделей на сегодняшний день.
●Обучение: модель обучена на массиве данных RefinedWeb с 3,5 триллионами токенов, что является рекордом среди открытых моделей.
●Результаты: по качеству модель превосходит такие известные модели, как PaLM, Chinchilla, LLaMA 2 и Inflection-1.
Инфраструктура и обучение
Обучение Falcon 180B происходило на мощной инфраструктуре:
●Использовалось до 4096 GPU A100 на базе AWS SageMaker.
●Потребовалось около 7 миллионов GPU-часов, что в несколько раз превышает затраты на обучение LLaMA 2.
●Архитектура модели включает multi-query attention, что снижает затраты на вычисления и повышает эффективность.
Доступность и лицензирование
Falcon 180B доступна на платформе Hugging Face как в базовой версии, так и в чат-ориентированной. Однако лицензия TII ограничивает её использование для API-сервисов, что делает её менее доступной для публичного использования.
Практическое применение и отзывы
Сообщество активно тестирует Falcon 180B и делится впечатлениями:
●Техники OmniQuant позволяют сжать модель до ~65 ГБ без потерь в качестве, что делает её доступной для запуска на одной A100 80 ГБ.
●Некоторые пользователи отмечают, что без сжатия модель остаётся ресурсоёмкой. Например, генерация может занимать до минуты на токен на сервере с 8 V100 GPU.
Перспективы и вызовы
Falcon 180B открывает новые возможности для исследователей и разработчиков, предлагая открытый доступ к мощной языковой модели. Однако ограничения лицензии и требования к ресурсам остаются существенными барьерами.
Что такое Falcon 180B?
Falcon 180B — это крупная открытая языковая модель с 180 миллиардов параметров, обученная на 3,5 триллиона токенов.
Где можно использовать Falcon 180B?
Модель доступна на платформе Hugging Face, но её использование для API-сервисов ограничено.
Чем Falcon 180B отличается от других моделей?
Она превосходит многие модели по качеству и обучена на рекордном массиве данных.
Каковы требования для запуска Falcon 180B?
Запуск модели требует мощной вычислительной инфраструктуры, но с помощью OmniQuant её можно сжать для работы на менее мощных системах.
