基于神经架构搜索的多模态自动建模与融合方法及装置

本发明提供一种基于神经架构搜索的多模态自动建模与融合方法及装置，涉及计算机科学技术领域。该方法包括：获取多模态数据及任务类型；对每个模态数据基于神经架构搜索自动生成对应的最优单元架构，分别对每个模态数据进行特征提取；根据每个模态数据的高维特征分析特征层面的模态间依赖关系生成动态更新的相关性热力图，根据融合策略决策器得到特定融合策略，构建最优融合网络架构；根据任务类型自动调整输出层与损失函数，得到适应任务需求的网络，完成不同下游任务。本发明能够实现单模态特征提取与多模态融合策略的端到端联合优化，显著降低人工干预成本与GPU资源消耗，同时提升复杂场景下的任务性能与模型泛化能力。