Model-based RL
Model-based RL – метод RL, где агент строит модель среды (прогноз переходов и наград) и планирует внутри неё. Это позволяет более эффективно учиться, используя предсказания. [Искусственный
Model-based RL – метод RL, где агент строит модель среды (прогноз переходов и наград) и планирует внутри неё. Это позволяет более эффективно учиться, используя предсказания. [Искусственный
World Models – идея, что агент создает внутреннюю «модель мира» (часто нейросеть), позволяющую симулировать среду и планировать в уме. Модель обучается предсказывать последствия действий (назад-прям) и
Самоигра (Self-Play) – агенты обучаются, играя сами с собой. В знаменитом AlphaZero, например, агент учился играть в шахматы, играя тысячи партий с собой и улучшая
Обучение по «учебной программе» (Curriculum Learning) – метод, при котором задачи усложняются постепенно, как в обучении человека: сначала простые пробы, затем сложнее. Например, робот сначала учится
Inverse Reinforcement Learning (обратное RL) – подход, где модель пытается вывести функцию вознаграждения эксперта по его поведению. Другими словами, по тому, как действовал опытный агент, система
Обучение с подражанием (Imitation Learning) – обучение агента через наблюдение за экспертом. Вместо вознаграждения (как в RL) модель «копирует» действия демонстратора (человека или другого агента).
GLEU, CHRF – метрики качества перевода и генерации. GLEU – модификация BLEU, более учитывающая порядок слов, CHRF – основана на совпадении n-грамм символов. Обе дают числовую
Consistency Metrics (метрики согласованности) – измеряют, насколько модель последовательна в разных ответах или при незначительных изменениях вопроса. Например, если спросить модель дважды схожий вопрос и получить
Hella Swag – датасет ситуаций на практический «здравый смысл». Модель должна выбирать, как логично завершается сюжет. Оценка – точность выбора из нескольких вариантов. Используется для проверки
Embodied AI – направление, связанное с реальными роботами и агентами в физическом мире. «Воплощённый» ИИ включает восприятие через датчики и действия в среде. Например, робота-наставника учат