一种基于动态多模态融合网络的故障辨识方法

本发明涉及一种基于动态多模态融合网络的故障辨识方法，属于故障辨识领域。所述方法包括：构建基于不同粒度级别故障辨识的多模态融合网络；训练优化基于不同粒度级别故障辨识的多模态融合网络，实现不同粒度级别故障辨识。本发明在推理训练过程中生成依赖于数据的前向路径，解决传统的静态多模态融合方法难以平衡不同模态的不同计算需求所造成的资源浪费问题，提高模型计算效率，节省计算成本；针对不同粒度级别的故障辨识问题，提出两种基于门控网络DynMM算法，使其不仅能解决如二分类等简单的故障识别任务，还可用于完成类似语义分割的更高难度的多模态融合故障辨识问题，并提高模型的泛用性和辨识精度。