一种基于多模态数据的变电站缺陷立体定位检测方法

本发明公开了一种基于多模态数据的变电站缺陷立体定位检测方法，包括：对三维点云数据和二维图像分别进行特征提取，并将两种模态特征分别依次通过三维区域提议网络和二维度区域提议网络，生成三维候选区域聚合和二维候选区域聚合；将二维图像的特征和三维点云数据输入到2D‑3D提议的转换器中，生成伪三维候选区域；将伪三维候选区域和三维候选区域聚合结合，获取融合三维候选区域聚合；将融合三维候选区域聚合和二维候选区域聚合通过多模态跨目标融合模块进行跨模态融合；使用多模态跨目标融合模块融合后的多层感知3D查询作为检测头执行三维目标检测定位。本发明克服了物体遮挡和距离较远且反射点较少造成的挑战，同时保持特征融合的有效性和准确性。