一种多模态融合神经网络的自动架构设计方法及系统

本发明公开了一种多模态融合神经网络的自动架构设计方法及系统，该方法包括：定义多模态融合神经网络结构搜索的原始操作池并进行搜索处理，确定多模态融合细胞网络结构；获取用于构建多模态融合细胞网络结构单元的基本组件，插入残差结构，得到多模态融合细胞网络单元库；进行拓扑复杂度与准确率评估，对残差结构进行Shapley值计算，得到残差结构的Shapley值；对多模态融合细胞网络结构进行残差优化处理；实现对多种传感器数据的融合。本发明能够利用残差结构将多模态融合问题直接作为架构搜索问题来解决，充分利用异质数据的各个模态信息实现数据融合。本发明作为一种多模态融合神经网络的自动架构设计方法及系统，可广泛应用于神经网络架构搜索技术领域。