基于R2Fusion的多模态隧道施工人体位姿检测与估计模型构建方法

本发明涉及基于R2Fusion的多模态隧道施工人体位姿检测与估计模型构建方法，属隧道安全监控领域。包括：进行RGB图像、深度图像和红外图像数据采集，通过对齐处理结合自适应权重网络实现多模态图像融合；通过HRNet检测人体关节点，WPNet捕捉人体非刚性形变，生成相应的特征图；通过融合AGCA和DLCA构建R2Fusion模型，对关键点进行描述，实现人体位姿的检测；采集IMU惯性测量数据，融合IMU得到的数据与视觉数据，通过构建关键点最小代价函数并求得旋转矩阵与平移矩阵，进一步进行姿态估计与校正，并保证实时监控与反馈。本发明提升对隧道复杂环境下人体的定位精度，使隧道安全巡检更加安全可靠。