Самовнимание (self-attention) — механизм в архитектуре трансформеров, при котором каждый токен анализирует свою связь со всеми остальными токенами последовательности для вычисления контекста. Такой подход позволяет учитывать дальние связи в тексте. Самовнимание требует значительных вычислительных ресурсов при длинных последовательностях — сложность растёт пропорционально квадрату их длины.
Пример
В модели GPT самовнимание помогает связывать начало и конец длинного предложения для более точного понимания смысла.