LoRA (Low-Rank Adaptation) называют подходом к дообучению больших языковых моделей, который замораживает основную массу весов и добавляет небольшие обучаемые матрицы. Такой метод экономит память и ускоряет дообучение, его можно реализовать даже на домашних видеокартах. В отличие от полного дообучения, LoRA почти не меняет основную структуру модели.
Пример
Для адаптации Llama-2 под юридические документы разработчики используют LoRA, добавляя всего несколько миллионов новых параметров к основной модели.