Masked Language Modeling (MLM) – метод предобучения модели на задаче «заполнения масок». Из текста случайно «маскируют» (скрывают) некоторые слова, а модель учится предсказывать, какие слова были на их месте. Например, из «Я люблю ___ и мороженое» модель должна догадаться «шоколад». MLM часто используют в BERT-подобных моделях, чтобы они понимали весь контекст (слева и справа от слова) во время обучения.
[Искусственный интеллект. Терминология IT. The Angmar Core.(Электронный ресурс). Режим доступа: http://habr.com›ru/articles/929130//, свободный.]