基于视觉语言对齐差异优化的参数高效视频文本检索方法及设备

本发明提供了一种基于视觉语言对齐差异优化的参数高效视频文本检索方法及设备，涉及机器学习领域。包括：获取样本视频和相匹配的样本文本描述；采样多帧样本图像并为每帧样本图像生成对应的伪样本文本描述；根据样本视频特征和样本文本特征确定视频级相似度，基于视频级相似度得到视频级语义对齐损失；根据样本图像特征和伪样本文本特征确定图像级相似度，基于图像级相似度得到图像级语义对齐损失；基于图像级相似度与视频级相似度得到图像到视频对齐蒸馏损失；基于视频级语义对齐损失、图像级语义对齐损失以及图像到视频对齐蒸馏损失，对待训练的视频文本检索模型进行训练得到目标视频文本检索模型，以提高视频文本检索的精度。