ТК 022 Информационные технологии

RLHF (Reinforcement Learning from Human Feedback) – обучение с подкреплением на основе человеческой обратной связи. Сначала собираются ответы модели и люди оценивают их (что звучит более

Fine-tuning (тонкая настройка)– дообучение уже предобученной модели на узкоспециализированном датасете. Здесь модель «подтягивается» под конкретную задачу (отраслевой текст, код, медицинские записи и т.д.). Например, берут

Pre-training (предобучение)– начальный этап обучения больших моделей. Модель загружает огромный объём разнородного текста (интернет, книги) и учится предсказывать следующий токен в предложении. В этой фазе

Max Tokens (максимум токенов) – в API генеративных моделей параметр, ограничивающий длину ответа. Это максимально допустимое число токенов в выходе модели. Если сумма токенов запроса и

Context Length Management (управление длиной контекста)– учёт ограничения на число токенов, которые модель может обработать за запрос. У каждой LLM есть максимальное окно контекста (например,

Adaptive Prompting (адаптивное промптирование) – метод, где промпты динамически изменяются на основе хода рассуждений модели. Модель может сама корректировать запросы, добавлять уточнения или переформулировать вопрос в

GPT (Generative Pre-trained Transformer) — семейство языковых моделей, основанных на архитектуре трансформер, обученных генерировать текст, похожий на человеческий. [Словарь ключевых терминов и понятий в области

Long Short—Term Memory (LSTM) —  особая разновидность архитектуры рекуррентных нейронных сетей, способная запоминать значения как на короткие, так и на длинные промежутки времени. [Словарь ключевых

Тензор — многомерный массив, обобщение матриц на произвольное число измерений. [Словарь ключевых терминов и понятий в области машинного обучения и искусственного интеллекта . (Электронный ресурс).