Поиск мультимодальный (Multimodal Retrieval) – системы, которые по запросу из одной модальности (например, текст) ищут релевантный контент в другой (например, изображения). Например, запрос «красный автомобиль» должен вернуть фото машины. Или наоборот: по изображению найти связанные текстовые статьи. Работа основана на том, что модель строит общее представление картинок и текста.
[Искусственный интеллект.Терминология IT. The Angmar Core.(Электронный ресурс). Режим доступа: http://habr.com›ru/articles/929130//, свободный.]