一种基于多模态提示学习的零样本行为识别方法

本发明公开了一种基于多模态提示学习的零样本行为识别方法，将CLIP拓展为细粒度的多模态时空理解模型，通过即插即用的帧级别多尺度时序提示(MTP)和时空语义增强，同时提高多模态时空理解的特异性和普适性。提出的多模态动态提示框架使用CLIP模型的预训练权重进行初始化，并冻结文本编码器的权重。对于视觉编码器，通过将额外的可学习多尺度时序提示模块插入到视觉编码器的不同层中，以得到精炼的时空视觉特征。对于语义文本，通过拓展和精炼类别表示的语义知识，提升对不同行为类别的理解。本发明方法和主流方法对比表现出很好的性能。