基于双路视觉编码的多模态视觉理解模型、训练方法、推理方法及设备

本申请提供一种基于双路视觉编码的多模态视觉理解模型、训练方法、推理方法及设备，模型包括：第一视觉编码器用于提取自然通用图像的全局视觉特征并输出第一图像特征，第一视觉编码器的权重冻结；第二视觉编码器的输入为经尺寸调整至预设的高分辨率的图像，用于对图像的局部细节信息进行提取，并输出第二图像特征；特征融合层用于在通道维度拼接第一图像特征和第二图像特征，以形成融合视觉特征；线性层用于将融合视觉特征转换为大语言模型所需的输入维度；大语言模型用于基于维度转换后的融合视觉特征和文本输入生成自然语言回答。本申请采用双路视觉编码结构，提高了多模态视觉理解模型的图像解析能力，优化了视觉特征与大语言模型的对齐方式。