Pre-training (предобучение)– начальный этап обучения больших моделей. Модель загружает огромный объём разнородного текста (интернет, книги) и учится предсказывать следующий токен в предложении. В этой фазе она «читает» миллиарды слов, вырабатывая общее понимание языка (грамматику, факты, логику). Это похоже на то, что модель «читает тонны книг», чтобы выучить язык. Например, в процессе модель постоянно практикуется в заполнении пропусков в текстах и становится способной генерировать связные ответы.
[Искусственный интеллект. Терминология IT. The Angmar Core.(Электронный ресурс). Режим доступа: http://habr.com›ru/articles/929130//, свободный.]