Механизм внимания (attention) — компонент архитектуры трансформера, который позволяет модели выделять наиболее важные части входного текста при обработке каждого токена. Благодаря этому механизм учитывает связи между словами независимо от их позиции в тексте. Внимание повышает точность генерации и понимания сложных контекстов. Не стоит путать механизм внимания с человеческим вниманием — это математическая операция.
Пример
В трансформерах механизм внимания помогает правильно интерпретировать, к какому объекту относится местоимение в длинном предложении.