摘要
本发明提供一种支持多语言跨模态的信息检索方法、装置及设备,方法包括:获取第一模态的第一待检索数据;对第一待检索数据进行预处理,得到第一数据;将第一数据输入多模态信息检索模型中相应类型编码器进行编码,得到第一类型编码数据;所述编码器包含中文编码单元;将第一类型编码数据输入到多模态检索模型的投影层进行投影处理,得到第一目标编码向量;根据第一目标编码向量,在向量数据库中进行至少一种其它模态信息检索,得到与第一数据语义相同的至少一种其它模态检索结果数据。本发明能够提高多模态信息检索的效率、语义解释能力和多模态对齐能力。
技术关键词
信息检索方法
多模态
数据
多语言
样本
跨模态
信息编码器
编码向量
音频编码器
文本编码器
图像编码器
视频编码器
语义
系统为您推荐了相关专利信息
车辆优先通行
红绿灯
车辆GPS信息
采集网关
车辆定位
智能对话模型
产品需求文档
语义向量
对话方法
生成框架
机器人路径规划
红外感应器
动态障碍物
人工势场
激光雷达数据融合
情感分类方法
文本
情感分类器
字典
朴素贝叶斯概率模型