融合多模态数据和强化学习的工业机器人安全协作方法

本申请提供了融合多模态数据和强化学习的工业机器人安全协作方法，属于工业机器人技术领域。该方法通过深度相机、RGB相机、力矩传感器和拾音器四种传感器，采集工业机器人工作环境中的多模态数据；对采集到的多模态数据进行预处理，包括序列数据的窗口划分和步幅设定、去噪、归一化、特征提取操作，以及图像数据的缩放，使其适合输入到深度学习模型中；改进ViT架构构建多模态融合模型SaW‑ViT‑Env，并进行训练，SaW‑ViT‑Env中Transformer Encoder输出的分类编码向量作为动态状态，最终输出的概率类别作为奖励的处理依据；基于MLP架构构建Q网络，并结合安全优先的DQN算法进行训练；通过实验验证SaW‑ViT‑Env模型、Q网络和安全优先的DQN算法在复杂人机协作场景下的安全性和效率。