一种混合专家多模态大模型特征融合方法及系统

本发明提供了一种混合专家多模态大模型特征融合方法及系统，该方法包括：大模型的自回归预训练，对文本、图像和语音数据进行token化并预测下一个元素；大模型到小模型的蒸馏过程，通过软标签将大模型的知识传递给小模型；小模型扩容，通过增加多模态小模型和调整门控网络以处理更多样化的任务。在特征融合方面，采用token嵌入的自适应门控策略，实现不同模态之间的有效信息整合。本发明设计了多种多模态小模型，综合利用多个模态的大模型专家来完成任务，显著提升了模型性能、处理效率和任务普适性。