一种音视频多模态识别方法及系统

本发明涉及数据处理技术领域，具体涉及一种音视频多模态识别方法及系统，包括：感知层、识别层、指示层；采集设备运行采集的视频数据实时向感知层中上传，感知层同步感知采集设备姿态，基于采集的视频及采集设备姿态锁定追踪目标，同步提取追踪目标特征参数，识别层进一步接收感知层中提取的追踪目标特征参数，同步控制感知层再次运行锁定追踪目标，本发明以采集设备为主体对采集设备采集的视频数据进行处理，于视频数据中获取追踪目标，并以指定的反复锁定逻辑最终确定明确的追踪目标，进一步以帧级图像处理及分析技术，对追踪目标进行持续的追踪，从而以此提供系统端用户指示，在追踪目标的追踪场景中，为系统端用户带来辅助追踪效果。