大模型多模态数据语义表征对齐方法

本申请公开了一种大模型多模态数据语义表征对齐方法，其通过采用基于深度学习的数据处理技术对第一模态数据和第二模态数据分别进行细粒度局部特征提取，并计算所述第一模态数据和第二模态数据的细粒度局部特征之间的相似度，作为初对齐损失函数值，接着，进一步结合全局上下文语义信息，对所述第一模态数据和第二模态数据的细粒度局部特征进行语义强化编码，通过上下文级别的语义对齐度量得到精对齐损失函数值，进而，基于精对齐损失函数值和初对齐损失函数值来指导模型训练，以实现多模态数据的语义表征对齐。通过这种方式，可以显著提高多模态数据在语义层面的对齐精度，为后续的数据融合和应用提供更准确的特征基础。