一种基于联合编码的图像与点云数据融合方法及装置

本申请提供一种基于联合编码的图像与点云数据融合方法及装置，该方法包括：对RGB图像进行语义分割得到前景图像和背景图像；对点云数据进行体素化处理；将体素的中心点转换到相机坐标系得到对应的像素；根据各体素对应的像素和前景图像确定多个前景体素；获取每个前景体素对应的前景像素的圆形区域内的邻近前景像素，对各邻近前景像素的特征进行融合得到融合特征，将融合特征叠加到前景像素的第一特征得到前景像素的第二特征；将前景体素的体素特征和第二特征进行叠加得到第三特征；利用自注意力模型对所有前景体素的第三特征进行处理，得到所有前景体素的第四特征。本申请利用图像前景信息融合两个模态特征，能够增强路侧灯塔的感知能力。