一种基于多模态数据联合的实时故障预测方法及系统

本发明公开了一种基于多模态数据联合的实时故障预测方法及系统，该故障预测方法采集工业机器人在运行过程中的多个模态数据；对多个模态数据进行预处理；从预处理后的数据中提取与故障预测相关的特征；基于提取后的特征构建数据集，并进行标签化处理；使用数据集对构建的故障预测模型进行训练；构建的故障预测模型包括依次连接的嵌入层、时间感知位置编码器、自注意力层、局部窗口注意力模块、前馈神经网络、归一化层和输出层；基于训练后的故障预测模型基于历史时刻数据和当前时刻数据进行故障预测，实现全面的状态监测与分析，准确地分析工业机器人的工作过程中的复杂工况，提高了故障预测的准确性。