基于高效视听表征学习的弱监督时序动作定位方法

一种基于高效视听表征学习的弱监督时序动作定位方法。该方法构建基于选择性扫描机制如Mamba的状态空间模型框架，用于长视频序列的视听特征建模，通过音频感知光流增强模块融合音频与光流特征生成音频感知光流特征，借助音频感知RGB增强模块融合音频与RGB特征生成音频感知RGB特征，利用音频自感知增强模块交互优化上述特征以实现跨模态协同增强，最后联合优化两类特征输出动作时序定位结果。该方法有效融合音频和视觉特征，高效处理长视频序列，在弱监督时序动作定位任务中实现先进性能。