一种视觉与语言融合的多模态大模型系统

本发明公开了一种视觉与语言融合的多模态大模型系统，包括：融合了DINOv2和SigLIP的视觉编码器，用来收集低层次的空间属性以及语义属性；多层感知机投影器，用来将视觉特征映射到语言嵌入空间以及基于状态空间模型的Mamba骨干模型网络。相较于依靠Transformer网络作为基础模型的多模态大语言模型，本发明的大模型系统在推理速度，准确率等指标均有提升。