基于Mamba的多标签跨模态视频-文本检索方法及存储介质

本发明公开了一种基于Mamba的多标签跨模态视频‑文本检索方法，所述方法通过使用Mamba和Vision Mamba对文本和视频帧进行编码，使得模型能够有效地学习到长距离的依赖关系，克服了传统模型在处理长视频序列数据时的缺陷，能够更准确地把握视频中前后内容的关联性，显著提高了视频‑文本检索的准确性和可靠性；将多标签按序输入Mamba模型进行特征提取，能够更加充分地利用多级标签所包含的丰富信息，进一步提高视频文本检索模型的性能；利用视频‑文本交互模块使模型在低级特征和高级语义层面均实现模态交互，使用Mamba模型构建视频和文本之间的多模态信息交互和关联，并结合视频‑文本双向检索损失函数最大化视频特征和文本特征的相似性，解决了视频和文本数据的模态鸿沟问题。