Реестровая запись: ЭЛ № ФС77-79395 от 02.11.2020 ISSN: 2782-1528 DOI 10.34660/c0727-6092-6372-a
Constitutional AI (конституционный ИИ) – подход от Anthropic, где модель обучается следовать наборам «конституционных правил» (этических инструкций), заложенных человеком. Модель генерирует ответы, проверяемые другим «человеко-имитирующим»
Autoencoders (автоэнкодеры) – нейронные сети-«кодировщики», обучающиеся восстанавливать входные данные. В простейшем варианте они сжимают вход («кодируют»), пропускают через узкое «бутылочное горлышко» и затем разворачивают («декодируют») обратно,
Обучение контрастивное (Contrastive Learning) – метод представления данных, при котором модель учится по парам «похожих» и «непохожих» примеров. Цель – строить такое пространство признаков, где похожие
Next Sentence Prediction (NSP) – вспомогательная задача при предобучении BERT. Модель получает пару предложений и учится определять, является ли второе предложение «настоящим продолжением» первого или случайным.
Causal Language Modeling (CLM) – обучение на предсказании следующего слова слева-на-право. Это подход, используемый в GPT- подобных моделях: модель читает текст от начала к концу и
Masked Language Modeling (MLM) – метод предобучения модели на задаче «заполнения масок». Из текста случайно «маскируют» (скрывают) некоторые слова, а модель учится предсказывать, какие слова были
Adapter Layers (адаптер-слои) – аналогичная идея: между слоями предобученной сети вставляют маленькие тренируемые модули. Эти «адаптеры» учатся захватывать особенности новой задачи, при этом основной весовой «скелет»
LoRA (Low-Rank Adaptation) – эффективный метод адаптации больших моделей без полного переобучения. Вместо того, чтобы править все веса, к каждому слою добавляются небольшие «низкоранговые» матрицы, которые
RLHF (Reinforcement Learning from Human Feedback) – обучение с подкреплением на основе человеческой обратной связи. Сначала собираются ответы модели и люди оценивают их (что звучит более
Fine-tuning (тонкая настройка)– дообучение уже предобученной модели на узкоспециализированном датасете. Здесь модель «подтягивается» под конкретную задачу (отраслевой текст, код, медицинские записи и т.д.). Например, берут