Few-shot обучением называют способ, при котором языковую модель учат выполнять новую задачу, приводя в промпте несколько (обычно 1–10) примеров решения. Модель не дообучается на отдельных данных, а сразу обобщает паттерн на основе этих примеров. Метод используют, когда нет возможности или смысла создавать отдельный датасет для задачи. Важно не путать few-shot с классическим обучением нейросетей, где требуется большое количество размеченных данных.
Пример
В prompt для GPT-3 добавляют три примера перевода фраз, после чего модель способна переводить новые предложения в том же стиле.