一种基于图像和文本离散化表示与字典对齐的视觉问答方法

一种基于图像和文本离散化表示与字典对齐的视觉问答方法，首先，在预训练阶段，利用双流编码器分别对输入的图像和文本进行特征提取，然后在词汇空间中创建标记级语言建模对。接着，通过最大池化操作和归一化操作，推导出字典重要性分布，进而生成连续词袋密集瓶颈，并利用弱化的掩码文本编码器从中重建掩码文本。其次，通过大规模负样本量的稀疏词汇空间中，对图像和文本重要性得分进行对齐，从而提高图文特征匹配的性能。本方法能够高效地实现图文对齐任务，减小不同模态间的语义鸿沟，提高多模态特征融合的精度和效率。