Пропускная способность — это количество токенов, которые языковая модель способна генерировать за одну секунду. Этот параметр важен для оценки производительности при пакетной обработке запросов или в высоконагруженных системах, где требуется быстрый вывод больших объёмов текста. Пропускная способность зависит от архитектуры модели, аппаратных ресурсов и настроек генерации. Не стоит путать этот термин с латентностью: пропускная способность описывает скорость вывода, а не задержку начала.
Пример
При генерации длинных текстов в API Anthropic пропускная способность может достигать нескольких тысяч токенов в секунду при batch-режиме.