摘要
本发明涉及计算机技术领域,提供一种基于跨模态融合的通信故障识别方法、装置及电子设备,该方法包括:将通信系统运行过程中的多模态数据输入故障识别模型中的特征提取模块,得到各模态数据的特征向量;将各模态数据的特征向量输入故障识别模型中的特征融合模块,得到特征融合模块基于注意力机制输出的跨模态融合特征向量;将跨模态融合特征向量输入故障识别模型中的故障预测模块,得到故障类型和对应的故障位置;故障识别模型是基于多模态样本数据以及对应的故障类型标签和故障位置标签训练得到的。本发明基于注意力机制对各模态的特征向量进行跨模态融合,得到语义层面上的融合特征向量,从而在后续故障识别时提高了后续故障识别效率和准确性。
技术关键词
故障识别方法
跨模态
注意力机制
特征提取模块
数据
通信系统
标签
多模态特征融合
故障识别装置
视频特征向量
视频特征提取
音频特征提取
动态权重分配
识别模型训练
神经网络架构
图像特征向量
信号随时间
系统为您推荐了相关专利信息
高强度碳纤维
多分散性指数
纺丝工艺参数
支持向量机算法
孔隙结构
裂纹缺陷
姿态控制模块
位移传感器
检测平台
金属磁记忆检测
现场监控设备
应急设备
远程监测单元
存储管理单元
数据采集设备
水质检测数据
数据处理单元
智能监控单元
电极单元
信号处理模块