一种用于生成多模态图像数据集的方法、设备及其介质

本申请公开了一种用于生成多模态图像数据集的方法、设备及其介质，方法包括基于预处理的多模态图像数据确定图像特征提取策略；分析各模态图像数据之间的关联性和交互模式，确定每种模态图像数据对合成图像的影响权重；建立各模态图像数据之间的关联关系，得到模态关联信息；获取第一类传感器模态的原始图像数据和第二类传感器模态的深度图像数据，并输入图像特征提取策略，获得图像特征融合结果；获取第一类传感器模态和第二类传感器模态之间的同步时间戳和采样频率；进行多模态融合模型的模型优化；利用优化的多模态融合模型生成目标图像数据集；本申请解决单一模态图像数据集难以满足复杂环境下深度学习模型的高精度识别需求的问题。