Реестровая запись: ЭЛ № ФС77-79395 от 02.11.2020 ISSN: 2782-1528 DOI 10.34660/c0727-6092-6372-a
Механизм внимания кросс-модальный (Cross-modal Attention) – расширение self-attention, где внимание модель вычисляет между элементами разных модальностей. Например, в мультимодальном трансформере каждый «токен» изображения может обращать внимание
Vision-Language Pre training (VLP) – стратегия совместного предобучения на парах «изображение–текст». Обычно модель обучается генерировать подписи к картинке или восстанавливать текст по изображению. Цель – создать
Visual Question Answering (VQA) – задачи, где модель отвечает на вопросы по изображению. Например, показывают картинку и спрашивают «Сколько людей на фото?» или «Какой цвет машины?»,
Segment Anything Model (SAM) – универсальная модель сегментации изображений (Meta), способная находить и выделять объекты без дополнительной тренировки. Её обучили на огромной коллекции аннотированных изображений, чтобы
VAEs (Variational Autoencoders) – автоэнкодеры особого вида, которые дополнительно моделируют распределение признаков. Они кодируют данные в параметризованное распределение (обычно нормальное) и затем семплируют оттуда при генерации.
ImageBind – архитектура (от Meta), связывающая разные модальности (картинки, текст, аудио, сенсоры) в единое представление. Модель учится связывать информацию из разных источников, что облегчает мультимодальные задачи:
NeRF (Neural Radiance Fields) – подход к трёхмерной реконструкции сцены из множества изображений. NeRF обучает нейросеть, которая по координатам (x,y,z и углу обзора) предсказывает цвет и
Score-based Generative Models – близки к диффузии: они используют градиенты «score-функции» распределения данных для постепенной генерации образцов. Такие модели учатся оценивать, насколько «немного» шум убавить на
Модели диффузионные (Diffusion Models) – класс генеративных моделей (например, Stable Diffusion), которые сначала зашумляют изображение до «шумового» состояния, а затем обучаются восстанавливать картинку из шума. Это
Объединение мультимодальное (Multimodal Fusion) – объединение различных источников данных (видео, звук, текст, изображения) в одном модели. Например, при генерации подписи к видео учитывается как визуальная дорожка,