Реестровая запись: ЭЛ № ФС77-79395 от 02.11.2020 ISSN: 2782-1528 DOI 10.34660/c0727-6092-6372-a
VAEs (Variational Autoencoders) – автоэнкодеры особого вида, которые дополнительно моделируют распределение признаков. Они кодируют данные в параметризованное распределение (обычно нормальное) и затем семплируют оттуда при генерации.
ImageBind – архитектура (от Meta), связывающая разные модальности (картинки, текст, аудио, сенсоры) в единое представление. Модель учится связывать информацию из разных источников, что облегчает мультимодальные задачи:
NeRF (Neural Radiance Fields) – подход к трёхмерной реконструкции сцены из множества изображений. NeRF обучает нейросеть, которая по координатам (x,y,z и углу обзора) предсказывает цвет и
Score-based Generative Models – близки к диффузии: они используют градиенты «score-функции» распределения данных для постепенной генерации образцов. Такие модели учатся оценивать, насколько «немного» шум убавить на
Модели диффузионные (Diffusion Models) – класс генеративных моделей (например, Stable Diffusion), которые сначала зашумляют изображение до «шумового» состояния, а затем обучаются восстанавливать картинку из шума. Это
Объединение мультимодальное (Multimodal Fusion) – объединение различных источников данных (видео, звук, текст, изображения) в одном модели. Например, при генерации подписи к видео учитывается как визуальная дорожка,
Winogrande – датасет для оценки рассуждений над общим знанием и языковой логикой. Содержит предложения с неоднозначными местоимениями и требует контекстуального понимания. Метрика – доля правильно разрешённых
TruthfulQA – тестовый набор вопросов, на которые модель часто отвечает неправильно, демонстрируя «галлюцинации» или предвзятость. Метрика оценивает процент правдивых ответов. Помогает проверять, насколько ИИ-ассистент выдаёт надежные
BERTScore – метрика качества текстового вывода, основанная на эмбеддингах BERT: оценивает семантическое сходство генерируемого текста и эталона. Чем ближе векторные представления, тем выше оценка. Лучше отражает
Приватность дифференциальная (Differential Privacy) – техника приватного машинного обучения: данные обучающего набора шифруются так, чтобы по выходу модели нельзя было восстановить информацию о конкретных записях. Позволяет