一种增强多图理解的多模态大模型结构

本发明公开了一种增强多图理解的多模态大模型结构，包括图片输入模块、图像特征提取模块、增强多图特征模块、特征映射模块、文本输入模块、分词模块、文本向量化模块、特征融合模块和大语言模型。增强多图特征模块通过挖掘关联图片相互间的关系，获取输入的多图的全局表达特征，增强模型的全局感知能力，获取不同图片中的环境、实体之间的相互关系。通过融合每张图的局部特征，减少信息丢失，增强模型对场景中的细节感知能力。