跨模态数据对齐模型训练方法、装置、设备及介质

本申请实施例公开一种跨模态数据对齐模型训练方法、装置、设备及介质。将图像数据和频谱数据分别输入到跨模态数据对齐模型中，输出用于表征图像数据中每个图像的第一特征，以及用于表征频谱数据中每个频谱的第二特征；根据第一特征和第二特征确定图像数据和频谱数据之间的对应的第一相似性特征和软间隔确定出跨模态数据对齐模型对应的第一损失值；确定图像数据和频谱数据之间对应的匹配概率，并基于匹配概率确定出跨模态数据对齐模型对应的第二损失值；根据图像数据中图像之间对应的第二相似性特征，以及频谱数据中频谱之间对应的第三相似性特征确定出跨模态数据对齐模型对应的第三损失值；根据第一损失值、第二损失值和第三损失值训练上述模型。