基于动态路由机制的多模态通专模型协同推理方法

本申请实施例提供‌一种基于动态路由机制的多模态通专模型协同推理方法，通过接收任务指令和任务指令对应的多模态数据，确定任务指令对应的任务类型，并提取多模态数据的数据特征，通过任务通用模型融合数据特征生成通用融合特征，根据预设处理映射关系匹配当前任务类型的任务专用模型、模态处理流程和融合特征权重，通过路由节点将数据特征和通用融合特征传输至任务专用模型，使任务专用模型根据模态处理流程和融合特征权重处理数据特征和通用融合特征，得到专用融合特征，并通过任务执行组件处理专用融合特征，得到任务指令对应的任务结果。该方法能够有效解决多模态数据处理时缺乏模型灵活度等方面的不足，显著提升语义融合的便捷程度。