动态旁路选择的多模态网络加速方法及系统

一种动态旁路选择的多模态网络加速方法及系统，将原始多模态数据进行模态类型判断后分别进行旁路适配度评价处理或直接进行基础多模态模型层级推理，将适配度评价最高的旁路作为选择结果用于判断基础多模态模型层级推理的后续执行方案，将基础多模态模型层级推理得到的中间特征进行特征对齐并根据选择的旁路经过旁路处理生成旁路特征，将所有旁路特征融合后推理得到特化任务结果。本发明根据不同模态早期层级提供的特征可以提供足够正确预测需求的特点，构造改进的动态旁路选择方法，充分减少整体多模态网络计算量，降低延迟并提高部分精度。