一种基于多模态大模型的动作检测方法及设备

本申请涉及人工智能技术领域，尤其涉及一种基于多模态大模型的动作检测方法及设备。获取记录执勤人员巡检过程的巡检视频，先基于时序动作检测模型对巡检视频进行预检，确定每个预测时间范围对应的视频段中存在的目标动作的第一概率值，再针对每个预测时间范围，若该预测时间范围对应的第一概率值不满足预设阈值要求，则基于多模态大模型对该预测时间范围对应的视频段进行检测，得到用于描述对应的视频段中存在的目标动作的检测结果，有效解决了传统的人工质检的准确率低、效率不高的问题，同时利用多模态大模型二次判断的方式提高了动作检测的准确率。