一种多模态检索方法及装置

本发明提供一种多模态检索方法及装置，涉及人工智能技术领域。所述方法包括：获取查询信息以及预设数据集；在文本空间中，基于查询信息与每个预设数据的匹配度，从预设数据集中确定多个第一候选数据；在多模态空间中，基于查询信息与每个预设数据在编码单元上的相似度，从预设数据集中确定多个第二候选数据；融合多个第一候选数据和多个第二候选数据，得到查询信息对应的查询结果。本发明将多模态数据映射至文本空间，利用文本进行检索，可提升多模态检索中文本处理能力，在多模态空间中利用数据在编码单元上的相似度进行搜索，可更好地理解不同模态的数据，进而可有效提升多模态检索的准确度。