摘要
本申请公开了一种多模态数据的快速检索方法、装置及存储介质,用于对多模态数据进行快速检索。本申请包括:收集多个公开数据集,数据集包含至少两种不同模态的数据类型;对数据集进行标注,生成与多模态数据相关的标注信息;使用多模态特征提取模型对数据集中的标注信息进行特征提取,生成多模态的特征向量;根据特征向量,使用跨模态特征融合算法,基于注意力机制计算各模态特征向量的加权平均,生成融合特征向量;根据相关的多模态数据,使用加权余弦相似度算法计算特征向量的相似性;根据用户输入查询的特征向量,通过特征向量的相似性从融合特征向量中检索出相关的多模态数据;将多模态数据按相关性排序,获得检索结果。
技术关键词
快速检索方法
多模态
长短期记忆网络
特征提取模型
梅尔频率倒谱系数
检索装置
融合算法
注意力机制
编码器
输入输出单元
跨模态
卷积神经网络模型
文本
图像
可读存储介质
训练集数据
音频特征
系统为您推荐了相关专利信息
评估系统
多模态深度
图谱特征
多通道
数据采集模块
风格
布局
生成方法
生成对抗网络模型
生成器网络
分层聚类算法
序列特征
时序特征
特征提取网络
画像分析方法
参数自校正方法
深度学习模型
多模态传感器
穴位
动物
输出特征
特征提取模块
联控系统
注意力
特征提取模型