一种多模态数据增强及其融合方法、装置、设备以及介质

本发明涉及图像处理技术，揭露一种多模态数据增强及其融合方法，包括：获取多模态数据，并计算每种模态数据的高斯噪声向量；将每种模态数据的高斯噪声向量输入至多模态联合生成网络中进行数据生成，得到多模态数据组；提取多模态数据组中RGB图像数据以及Thermal图像数据的模态特征，并跨模态融合RGB图像数据以及Thermal图像数据的模态特征得到初始RGB_Thermal融合特征；提取多模态数据组中LiDAR点云特征；将LiDAR点云特征与初始RGB_Thermal融合特征进行特征融合得到多模态BEV视角特征。本发明还提出一种多模态数据增强及其融合装置、设备及介质。本发明可以提升环境检测和识别的准确率。