一种基于Transformer的无人机3D目标检测多模态融合方法

本发明公开了一种基于Transformer的无人机3D目标检测多模态融合方法，包括通过搭载于无人机上的摄像头获取图像，并通过雷达传感器获取雷达点云数据；构建多分辨率注意力模块，并将其整合到主干网络；多分辨率注意力模块基于所获取的图像以及雷达点云数据分别提取体素图像特征并建立不同的体素空间；通过Transformer网络将多个体素空间内的体素图像特征进行融合。本申请将摄像头图像和雷达点云数据处理成统一的体素空间表示，进一步通过编码器网络进行细化，以增强空间交互并减少语义歧义，同时结合了具有多头自注意力和交叉注意力机制的Transformer解码器网络，通过全局交互促进了识别对象和编码器特征之间的稳健和准确检测，从而可以高效准确地实现无人机3D目标检测任务。