Реестровая запись: ЭЛ № ФС77-79395 от 02.11.2020 ISSN: 2782-1528 DOI 10.34660/c0727-6092-6372-a
deep-learning platform — платформа для глубинного обучения, совокупность программных и аппаратных средств для глубинного обучения искусственных нейронных сетей [Пройдаков Э.М.,Англо-русский толковый словарь по робототехнике и
Autoencoders (автоэнкодеры) – нейронные сети-«кодировщики», обучающиеся восстанавливать входные данные. В простейшем варианте они сжимают вход («кодируют»), пропускают через узкое «бутылочное горлышко» и затем разворачивают («декодируют») обратно,
Обучение контрастивное (Contrastive Learning) – метод представления данных, при котором модель учится по парам «похожих» и «непохожих» примеров. Цель – строить такое пространство признаков, где похожие
Next Sentence Prediction (NSP) – вспомогательная задача при предобучении BERT. Модель получает пару предложений и учится определять, является ли второе предложение «настоящим продолжением» первого или случайным.
Causal Language Modeling (CLM) – обучение на предсказании следующего слова слева-на-право. Это подход, используемый в GPT- подобных моделях: модель читает текст от начала к концу и
Masked Language Modeling (MLM) – метод предобучения модели на задаче «заполнения масок». Из текста случайно «маскируют» (скрывают) некоторые слова, а модель учится предсказывать, какие слова были
Adapter Layers (адаптер-слои) – аналогичная идея: между слоями предобученной сети вставляют маленькие тренируемые модули. Эти «адаптеры» учатся захватывать особенности новой задачи, при этом основной весовой «скелет»
LoRA (Low-Rank Adaptation) – эффективный метод адаптации больших моделей без полного переобучения. Вместо того, чтобы править все веса, к каждому слою добавляются небольшие «низкоранговые» матрицы, которые
Epoch — количество повторений циклов обучения для всей выборки данных. [Университет искусственного интеллекта: Словарь терминов. (Электронный ресурс). Режим доступа: http:// old.neural-university.ru›vocabulary-neural-netwoks/, свободный.]
Обучение модели (training, model training) — процесс определения или улучшения параметров модели машинного обучения на основе алгоритма машинного обучения с использованием обучающих данных. [ГОСТ Р