多模态融合微调训练方法、装置、电子设备以及可读存储介质

本发明提供了一种多模态融合微调训练方法、装置、电子设备以及可读存储介质，该方法包括获取起始3D模型的点云模型Pi和若干张多视图；通过自监督学习获取点云模型Pi的特征向量Zi，以及多视图512维度的特征向量hi；对特征向量Zi与特征向量hi进行拼接，得到512维度的融合特征向量fi；通过DHC损失函数进行融合特征向量fi的分层分类微调训练，并通过批次中心相似度学习机制进行融合特征向量fi的度量学习微调训练。融合自监督学习2条特征向量，能兼顾不同输入技术路线的优点，有利于提升模型特征向量的检索精度，通过少量分类数据的微调训练能让模型快速习得基于特定任务预设的分类信息，度量学习机制确保了不同细分类在特征向量空间的距离。