一种基于Tramba模型的视频理解方法及系统

本发明涉及一种基于Tramba模型的视频理解方法，包括以下步骤：步骤1输入层接收数据：接收多帧视频数据作为输入，其格式为3×T×H×W；步骤2特征提取阶段：利用3D Patch Embedding对输入的多帧视频进行特征提取操作，将视频数据划分成一个个三维的小块；步骤3Tramba的多个stage处理：数据依次通过n个Tramba的stage，每个stage对特征进行逐步的精炼和优化；步骤4Stage内具体层处理；步骤5输出阶段。本发明在处理高分辨率长视频时表现出色，能够精准捕捉视频中复杂的时空依赖关系以及长上下文信息，显著提升了视频动作识别等理解任务的准确率，相比现有技术在应对长视频内容时优势明显。