基于跨模态信息的开放场景时序动作检测方法、设备及介质

基于跨模态信息的开放场景时序动作检测方法、设备及介质，视频帧序列通过时空特征编码器和跨模态对齐视觉特征编码器，经特征融合得到具备时空细节和跨模态对齐信息的特征表示，再通过特征金字塔网络学习局部细节序列信息，最后通过区间回归头网络完成动作区间生成，同时在跨模态特征分类头中进行全局时序建模，基于视觉语言特征匹配和前景分数增强机制完成动作类别判定。本发明提出了一种引入跨模态信息的一阶段开放场景时序动作检测方法，简化了开放场景的时序动作检测方法流程，实现对新动作定位和分类能力的共同优化，提升模型在新类别上的检测表现，能够更好地适应现实中开放、动态且复杂多变的应用场景，具有实用性和泛化能力。