Реестровая запись: ЭЛ № ФС77-79395 от 02.11.2020 ISSN: 2782-1528 DOI 10.34660/c0727-6092-6372-a
Поиск мультимодальный (Multimodal Retrieval) – системы, которые по запросу из одной модальности (например, текст) ищут релевантный контент в другой (например, изображения). Например, запрос «красный автомобиль» должен
Модели генерации описаний (Captioning Models) – модели, которые генерируют текстовые описания (подписи) к изображениям или видео. Например, DALL·E и Imagen могут не только создавать картинки, но
Заякоривание визуальное (Visual Grounding) – задача связывания текста с элементами изображения. Например, если в описании сказано «человек слева красного цвета», модель должна указать именно этого человека
Механизм внимания кросс-модальный (Cross-modal Attention) – расширение self-attention, где внимание модель вычисляет между элементами разных модальностей. Например, в мультимодальном трансформере каждый «токен» изображения может обращать внимание
Vision-Language Pre training (VLP) – стратегия совместного предобучения на парах «изображение–текст». Обычно модель обучается генерировать подписи к картинке или восстанавливать текст по изображению. Цель – создать
Visual Question Answering (VQA) – задачи, где модель отвечает на вопросы по изображению. Например, показывают картинку и спрашивают «Сколько людей на фото?» или «Какой цвет машины?»,
Segment Anything Model (SAM) – универсальная модель сегментации изображений (Meta), способная находить и выделять объекты без дополнительной тренировки. Её обучили на огромной коллекции аннотированных изображений, чтобы
VAEs (Variational Autoencoders) – автоэнкодеры особого вида, которые дополнительно моделируют распределение признаков. Они кодируют данные в параметризованное распределение (обычно нормальное) и затем семплируют оттуда при генерации.
ImageBind – архитектура (от Meta), связывающая разные модальности (картинки, текст, аудио, сенсоры) в единое представление. Модель учится связывать информацию из разных источников, что облегчает мультимодальные задачи:
NeRF (Neural Radiance Fields) – подход к трёхмерной реконструкции сцены из множества изображений. NeRF обучает нейросеть, которая по координатам (x,y,z и углу обзора) предсказывает цвет и