Реестровая запись: ЭЛ № ФС77-79395 от 02.11.2020 ISSN: 2782-1528 DOI 10.34660/c0727-6092-6372-a
Аудит прозрачности (Transparency Auditing) – независимая проверка ИИ-систем на предмет их характеристик: откуда взяты данные, какие решения модель принимает, почему. Это нужно компаниям и регуляторам, чтобы
Explainable AI (объяснимый ИИ, XAI) – подходы, позволяющие понять, как модель пришла к своему выводу. Включает локальные объяснения (например, почему этот ответ), визуализацию внимания, правила принятия
Снятие смещений (Bias Mitigation) – методы обнаружения и снижения предвзятости ИИ. Например, балансировка датасетов, дополнительные штрафы за некорректные ответы или адаптация моделей, чтобы они не воспроизводили
Слои безопасности (Safety Layers) – дополнительные модули или фильтры, которые обрабатывают вывод модели. Например, после генерации текст передаётся в «модуль токсичности», который блокирует неприемлемое. Это «экранирование»
Red Teaming (красная команда) – практика активного «атаки» на систему ИИ экспертами, чтобы выявить уязвимости и ошибки. Команда пытается провоцировать модель выдавать токсичные, некорректные или вредные
Alignment Tuning (настройка в соответствии с целями)– дообучение моделей с целью их «согласования» с человеческими ценностями и задачами. Включает RLHF, Constitutional AI, и другие техники,
Constitutional AI (конституционный ИИ) – подход от Anthropic, где модель обучается следовать наборам «конституционных правил» (этических инструкций), заложенных человеком. Модель генерирует ответы, проверяемые другим «человеко-имитирующим»
Autoencoders (автоэнкодеры) – нейронные сети-«кодировщики», обучающиеся восстанавливать входные данные. В простейшем варианте они сжимают вход («кодируют»), пропускают через узкое «бутылочное горлышко» и затем разворачивают («декодируют») обратно,
Обучение контрастивное (Contrastive Learning) – метод представления данных, при котором модель учится по парам «похожих» и «непохожих» примеров. Цель – строить такое пространство признаков, где похожие
Next Sentence Prediction (NSP) – вспомогательная задача при предобучении BERT. Модель получает пару предложений и учится определять, является ли второе предложение «настоящим продолжением» первого или случайным.