一种基于transformer特征增强的人形机器人野外障碍识别方法

本发明公开了一种基于transformer特征增强的人形机器人野外障碍识别方法，包括以下步骤：步骤S1：首先使用相机获取环境的图像数据和激光雷达获取环境的点云数据；步骤S2：将在沙漠环境中采集的数据，制作成为后续模型训练检测的三维数据集；步骤S3：构建网络模型；步骤S4：对于雷达点云分支，获取体素特征和体素坐标，激光雷达分支遵循SECOND架构，该发明收集巡视探测路径上遇到的3D障碍区域的点云和图像数据，通过解析计算输出3D障碍物目标的信息，通过引入了动态特征索引(DFI)模块，使用离线校准获得的内外参数将点云的体素特征投影到图像坐标系，得到初始投影坐标，比使用雷达的内外参数直接将体素特征投影到图像上更加准确。