基于多模态数据融合的车况预估方法、装置、设备、存储介质及产品

本发明公开一种基于多模态数据融合的车况预估方法、装置、设备、存储介质及产品，获取车辆的非图像数据和至少两种不同模态的图像数据，对非图像数据和图像数据进行特征提取与编码；为图像特征添加空间位置信息得到位置感知特征，利用注意力机制和混合专家模块对不同模态图像的位置感知特征进行联合建模；利用具体任务的上下文，自动调整各个模态的权重，对联合建模得到的不同模态图像的特征进行融合，得到图像融合特征；利用时序建模、模态重要性动态分配和残差特征对齐技术将图像融合特征和非图像数据的特征进行融合，得到多模态融合特征；基于多模态融合特征对车辆状况进行预估，提高了车辆状况预估的准确性。