数据空间中基于语义增强的多模态嵌入表示学习方法

本发明提出了基于语义增强的多模态嵌入表示学习方法，属于多模态数据处理领域，首先获取多模态文本、图像、视频和音频数据，并进行数据预处理，完成格式转换和归一化处理；然后提取处理后的文本、图像和音频数据中的特征，生成初始模态嵌入表示；通过对图像、视频和音频数据引入语义增强策略，增强多模态间的语义一致性，生成统一的多模态向量表示；对嵌入表示进行归一化，确保各模态在统一向量空间内的语义一致性；本发明通过引入视频关键帧提取、图像光学字符识别和音频语音转文字技术，进一步增强了多模态数据间的语义补充，优化了嵌入表示的分布，从而提升了多模态信息的嵌入表示学习效果。