Delta Tuning
Delta Tuning – подход, где вместо полной настройки модели к новой задаче обучаются только разности (дельты) между исходными и новыми весами. Это аналогично LoRA/адаптерам: фиксируются основные
Delta Tuning – подход, где вместо полной настройки модели к новой задаче обучаются только разности (дельты) между исходными и новыми весами. Это аналогично LoRA/адаптерам: фиксируются основные
LoRA-fusion – метод объединения (слияния) нескольких LoRA-модулей для разных задач в одну модель. Позволяет переключаться между задачами без перекомпиляции всех весов, просто подгружая нужные LoRA-адаптеры. [Искусственный
P-Tuning v2 – расширение идеи prompt tuning. Векторные («мягкие») промпты добавляются не только в начале текста, но и на разных слоях модели. В результате такие встроенные
QLoRA (Quantized LoRA) – комбинированный подход: модель хранится в низкой точности (квантуется), а адаптация LoRA проводится с сохранением точности в критичных частях. Это позволяет ещё больше
PEFT (Parameter-Efficient Fine-Tuning) – общий термин для подходов (включая LoRA, адаптеры, prefix-tuning и др.), которые донастраивают лишь небольшую часть параметров модели, сохраняя остальную «замороженной». [Искусственный интеллект.Терминология
Proximal Policy Optimization (PPO) – популярный алгоритм обучения с подкреплением. Он оптимизирует стратегию агента плавно, не позволяя слишком «оторваться» от текущей политики. Это повышает стабильность обучения
AlphaZero-style Training – метод итеративной самоигры с поиском (MCTS) и обучением нейросети. Агент с нуля учится сложным играм (шахматы, го) без заранее предоставленных данных: он играет
Model-free RL – классический подход RL, где агент прямо учится максимизировать награду без построения модели среды (например, Q-learning, Policy Gradients). Быстрее настраивается, но требует больше опытов,
Trust Region Policy Optimization (TRPO) – предшественник PPO: алгоритм RL, который гарантирует, что новая политика не слишком сильно отклоняется от старой (ограничивает «радиус доверия» изменений). Позволяет
Soft Actor-Critic (SAC) – RL-алгоритм, комбинирующий обучение с максимизацией энтропии (случайности) в действиях. Агент обучается выбирать не только наградо-оптимальные, но и «интересные» действия, что ускоряет обучение