Механизм внимания (Attention mechanism) – это одно из ключевых нововведений в области нейронного машинного перевода. Внимание позволило моделям нейронного машинного перевода превзойти классические системы машинного перевода, основанные на переводе фраз. Основным узким местом в sequence-to-sequence обучении является то, что все содержимое исходной последовательности требуется сжать в вектор фиксированного размера. Механизм внимания облегчает эту задачу, так как позволяет декодеру оглядываться на скрытые состояния исходной последовательности, которые затем в виде средневзвешенного значения предоставляются в качестве дополнительных входных данных в декодер.
[Чесалов А. Ю. Глоссариум по искусственному интеллекту: 2500 терминов/ А. Ю. Чесалов — «Издательские решения» 2022 г., 670 стр.]
Механизм внимания — машинное обучение на основе внимания — это механизм, имитирующий когнитивное внимание. Он вычисляет «мягкие» веса для каждого слова, точнее, для его эмбеддинга, в контекстном окне. Это может происходить как параллельно (как в трансформерах), так и последовательно (как в рекурсивных нейронных сетях). «Мягкие» веса могут меняться во время каждого выполнения, в отличие от «жестких» весов, которые (предварительно) обучаются и дообучаются, а затем остаются неизменными. В больших языковых моделях на основе трансформера используется несколько механизмов внимания.
[Глоссарий по искусственному интеллекту. (Электронный ресурс). Режим доступа: http:// en.wikipedia.org›wiki/Glossary_of_artificial_intelligence/, свободный.]