一种基于多模态模型进行搜索的方法和系统

本发明公开了一种基于多模态模型进行搜索的方法和系统。方法包括：对视频进行分割，将视频各帧中，前后连贯且相似度高于阈值的帧集合，作为一个场景单元；对场景单元进行关键帧提取；对关键帧进行图像特征和文本特征提取；将关键帧图像特征和文本向量特征进行融合，得到反映场景单元内容的多模态特征；对用户输入的自然语言查询进行语义理解，将其转换为相应的查询特征向量；将查询特征向量与数据库中的多模态特征向量进行相似性计算，根据相似度对场景单元进行排序，返回最相似的场景单元；将检索到的场景单元按照相似度排序后呈现给用户。