Инференс (inference) — процесс, при котором обученная модель применяет свои знания для генерации ответа или выполнения задачи. В отличие от обучения, инференс не меняет параметры модели, а только использует уже полученные знания. Большинство ресурсов AI-сервисов расходуется именно на инференс, а не на обучение. Иногда инференс путают с процессом обучения, но это разные этапы работы модели.
Пример
Когда пользователь делает запрос к ChatGPT, серверы запускают инференс модели — формируется и отправляется ответ.