Реестровая запись: ЭЛ № ФС77-79395 от 02.11.2020 ISSN: 2782-1528 DOI 10.34660/c0727-6092-6372-a
Winogrande – датасет для оценки рассуждений над общим знанием и языковой логикой. Содержит предложения с неоднозначными местоимениями и требует контекстуального понимания. Метрика – доля правильно разрешённых
TruthfulQA – тестовый набор вопросов, на которые модель часто отвечает неправильно, демонстрируя «галлюцинации» или предвзятость. Метрика оценивает процент правдивых ответов. Помогает проверять, насколько ИИ-ассистент выдаёт надежные
BERTScore – метрика качества текстового вывода, основанная на эмбеддингах BERT: оценивает семантическое сходство генерируемого текста и эталона. Чем ближе векторные представления, тем выше оценка. Лучше отражает
Приватность дифференциальная (Differential Privacy) – техника приватного машинного обучения: данные обучающего набора шифруются так, чтобы по выходу модели нельзя было восстановить информацию о конкретных записях. Позволяет
Аудит прозрачности (Transparency Auditing) – независимая проверка ИИ-систем на предмет их характеристик: откуда взяты данные, какие решения модель принимает, почему. Это нужно компаниям и регуляторам, чтобы
Explainable AI (объяснимый ИИ, XAI) – подходы, позволяющие понять, как модель пришла к своему выводу. Включает локальные объяснения (например, почему этот ответ), визуализацию внимания, правила принятия
Снятие смещений (Bias Mitigation) – методы обнаружения и снижения предвзятости ИИ. Например, балансировка датасетов, дополнительные штрафы за некорректные ответы или адаптация моделей, чтобы они не воспроизводили
Слои безопасности (Safety Layers) – дополнительные модули или фильтры, которые обрабатывают вывод модели. Например, после генерации текст передаётся в «модуль токсичности», который блокирует неприемлемое. Это «экранирование»
Red Teaming (красная команда) – практика активного «атаки» на систему ИИ экспертами, чтобы выявить уязвимости и ошибки. Команда пытается провоцировать модель выдавать токсичные, некорректные или вредные
Alignment Tuning (настройка в соответствии с целями)– дообучение моделей с целью их «согласования» с человеческими ценностями и задачами. Включает RLHF, Constitutional AI, и другие техники,