摘要
本发明涉及数据处理技术领域,公开了基于迭代黎曼流形的多模态数据对齐方法、系统、终端及介质,所述方法包括:获取用于跨模态图像文本检索的多模态数据样本集,并创建多模态数据对齐网络训练模型;根据多模态数据样本集对多模态数据对齐网络模型进行迭代黎曼流形训练,得到多模态数据对齐模型;获取待对齐多模态数据,并输入至多模态数据对齐模型,输出多模态数据对齐结果。本发明通过将不同模态数据嵌入到同一个黎曼流形中,并利用里奇曲率正则化保持黎曼流形的几何特性,使得嵌入表示更能反映数据的内在结构,还基于流形测地距离的最优传输进行跨模态对齐,实现更精确及更深层次的语义对应,从而显著提升多模态数据对齐效果。
技术关键词
数据对齐方法
多模态
跨模态图像
数据对齐系统
度量
样本
测地线距离
黎曼
网络
数据对齐模块
重构
解码器
坐标
模型训练模块
可读存储介质
符号
数据嵌入
数据处理技术
处理器
系统为您推荐了相关专利信息
多模态
大语言模型
辅助学习方法
计算机执行指令
自然语言
可见光图像
图像多模态
识别方法
神经网络模型
基准
医学影像分析方法
医学影像分析系统
多模态
动态
通道注意力机制