融合跨视角跨模态双重动量对比学习的变化描述系统及方法

本发明图像处理技术领域，公开了一种融合跨视角模态双重动量对比学习的变化描述系统及方法，该变化描述系统包括输入模块，用于将待比较图像对中的两幅图像和文本描述转换为相应图像的视觉特征和词嵌入；单视角Transformer编码器，用于分别对每幅图像的视觉特征进行特征提取，获取每幅图像的不变性特征；跨视角Transformer编码器，用于匹配图像对中两幅图像的不变性特征并获得图像对的变化特征表示；单模态语言Transformer编码器，用于将词嵌入转换为语言特征表示；多模态Transformer解码器，用于对图像对的变化特征表示和语言特征表示进行融合，得到融合特征；输出模块，用于依据融合特征得到图像对的变化描述。本发明能够捕获关键的视觉不变性特征，增强变化描述。