LoRA (Low-Rank Adaptation) – эффективный метод адаптации больших моделей без полного переобучения. Вместо того, чтобы править все веса, к каждому слою добавляются небольшие «низкоранговые» матрицы, которые обучаются под новую задачу. Модель при этом остаётся «замороженной», а мы настраиваем только эти малые модули. Например, полный GPT-3 (175 млрд параметров) с помощью LoRA можно адаптировать, тренируя лишь 18 миллионов параметров – это существенно экономит ресурсы. После дообучения весовые матрицы LoRA можно «внедрить» в модель без потери качества.
[Искусственный интеллект.Терминология IT. The Angmar Core.(Электронный ресурс). Режим доступа: http://habr.com›ru/articles/929130//, свободный.]
LoRA (Low Rank Adaptation) — представляет собой технику оптимизации для тренировки искусственных нейронных сетей, которая обеспечивает возможность модификации модели с использованием параметров низкого ранга. В качестве примера, в нейросети Stable Diffusion, применение «LoRA» дает возможность обучить систему создавать изображения существ или предметов в стилях, которые не были изначально известны в основной модели, используемой для обучения (чекпойнте). Кроме того, LoRA в контексте Stable Diffusion способствует улучшению и расширению дополнительных функций, включая возможность регулировать такие аспекты, как длина волос, цвет кожи и другие характеристики персонажей, через корректировку весовых коэффициентов.
[Сборник терминов в области искусственного интеллекта. (Электронный ресурс). Режим доступа: http:// vc.ru›yesai/1106753-sbornik-terminov-v-oblasti-…/, свободный.]