Самовнимание мультиголовное
Самовнимание мультиголовное (Multi-head self-attention) – является ключевым компонентом Transformer- современной архитектуры для нейронного машинного перевода. Механизм самовнимания в настоящее время встречается в самых различных архитектурах и задачах (перевод, генерация текста,