Трансформатор генеративный предварительно обученный (GPT) — большая языковая модель на основе архитектуры трансформера, которая генерирует текст. Сначала она проходит предварительное обучение, чтобы предсказывать следующий токен в тексте (токен — это, как правило, слово, часть слова или знак препинания). После предварительного обучения модели GPT могут генерировать текст, похожий на написанный человеком, многократно предсказывая следующий токен. Модели GPT обычно также подвергаются тонкой настройке, например с помощью обучения с подкреплением на основе обратной связи от человека, чтобы уменьшить количество галлюцинаций или случаев опасного поведения, а также чтобы привести результат в разговорный формат.
[Глоссарий по искусственному интеллекту. (Электронный ресурс). Режим доступа: http:// en.wikipedia.org›wiki/Glossary_of_artificial_intelligence/, свободный.]