摘要
本发明提供了一种适用于工程机械非结构化场景的多源感知方法,涉及工程机械环境感知技术领域,先对LiDAR点云数据进行预处理,生成与RGB图像对齐的2D透视图,为后续的特征提取提供基础。图像分支利用改进的深度学习网络进行语义分割,而点云分支则通过优化的网络结构提取空间深度特征。两者通过FFAM模块进行特征互补,显著增强了对复杂场景的理解能力。进一步地,引入细化模块,采用先进的3D稀疏卷积技术,对反投影后的点云特征进行优化处理,有效解决了目标边界分割模糊的问题。
技术关键词
非结构化场景
分支
图像编码器
工程机械
点云
Softmax函数
图像解码器
通道
空间金字塔池化
语义
空洞
分辨率
相机
编码模块
多尺度特征