基于动态决策混合专家映射的多模态大模型

本发明公开了基于动态决策混合专家映射的多模态大模型，包括含有若干个功能不同的视觉编码结构的视觉编码群、视觉融合与压缩模块、动态决策混合专家映射模块以及大语言模型，动态决策混合专家映射模块包括分别对多尺度图像特征进行处理得到高判别性特征和综合特征的混合专家模块和共享专家模块、用于对多尺度图像特征重要性估值的决策专家模块、用于根据重要性估值将高判别性特征和综合特征进行连接的决策连接模块和自适应投影映射层，动态决策混合专家映射模块通过智能地分配参数给不同的专家网络，并动态调整各专家的权重配置，使得模型能够根据输入的不同自动优化其内部结构，从而达到更高的处理精度。