Дообучение (fine-tuning) — это процесс дополнительного обучения базовой LLM на специализированных данных, чтобы адаптировать модель под конкретную сферу или задачу. Например, модель можно дообучить на медицинских текстах для улучшения ответов по тематике здравоохранения. Этот подход требует пересчёта весов модели на новом наборе данных и отличается от подбора промптов, который не меняет параметры модели. Fine-tuning используют, когда нужна точная настройка под узкие задачи.
Пример
Юридическая фирма дообучает Llama 2 на базе контрактов и писем, чтобы ускорить подготовку типовых документов и повысить точность юридических ответов.