Руководители часто недооценивают затраты AI на хранение данных, концентрируясь на GPU. Однако данные после инференса требуют значительных ресурсов.
Кратко:
- ●Затраты на AI часто ассоциируются с GPU, но хранение данных после инференса также существенно.
- ●Один AI-запрос может потребовать до 312 ГБ KV-кэша, что требует ёмких и быстрых SSD.
- ●Исследования показывают, что полное хранение данных дешевле регенерации в 100 раз.
- ●Почему важно: Хранение данных становится критическим элементом затрат в AI-проектах.
Скрытые затраты на хранение в AI
Сегодня многие руководители представляют затраты на искусственный интеллект как расходы на GPU и энергию. Однако это не полная картина. После того, как модель AI отвечает на запрос, создаётся огромное количество данных, которые необходимо хранить и обрабатывать. Эти расходы на хранение зачастую недооценены, но играют критическую роль в операционных затратах AI-систем.
Что происходит с данными после инференса
Каждый запрос к AI-модели сопровождается созданием данных: истории сессий, кэши ключ-значение (KV-кэши), извлечённые документы и прочее. Эти данные должны храниться и обрабатываться с минимальной задержкой, что требует использования SSD с высокой ёмкостью и быстродействием.
Масштабирование и ёмкость
При длительных запросах или сложных workflow объёмы KV-кэша могут достигать значительных величин. Один запрос может требовать до 312 ГБ, а при восьми одновременных запросах — до 2,5 ТБ. Это создаёт вызовы для инфраструктуры хранения.
Стоимость хранения vs регенерация
Согласно исследованиям, хранение сгенерированного контента дешевле регенерации более чем в 100 раз. Использование промежуточного представления (IR-based) позволяет снизить затраты вдвое по сравнению с полным хранением, сохраняя интерактивную производительность.
Проблема распределённых затрат
Часто затраты на хранение распределяются по различным бюджетам, и инженеры, работающие над инференсом, не всегда учитывают эти расходы. Это приводит к недооценке общей стоимости AI-проектов.
Что это значит
Для компаний, работающих с AI, важно учитывать не только затраты на GPU и энергию, но и на хранение данных. Это становится критическим элементом бюджета AI-проектов. Понимание и оптимизация этих затрат могут значительно повлиять на рентабельность и эффективность AI-инфраструктуры.
Частые вопросы
Что такое KV-кэш?
▾
KV-кэш — это структура данных, в которой хранятся пары ключ-значение, используемые для быстрого доступа к информации в процессе инференса AI.
Почему хранение данных важнее GPU?
▾
Хотя GPU важны для обработки, данные после инференса требуют значительных ресурсов на хранение, что может стать основной статьёй расходов.
Как снизить затраты на хранение?
▾
Использование промежуточного представления и эффективное управление данными могут значительно снизить затраты на хранение.
Как распределяются расходы на хранение?
▾
Затраты часто распределяются между различными бюджетами, и не всегда учитываются в общей стоимости AI-проектов.
Источники
- The Hidden Storage Tax on Every AI Conversation - SPONSOR CONTENT FROM SOLIDIGM
- I/o for LLM inference: a survey of storage and memory bottlenecks | Artificial Intelligence Review | Springer Nature Link
- To Store or To Regenerate? A Cost Model for AI-Generated Content at Scale
- The Hidden Costs: Embeddings, Storage and Egress · Multigrid
