基于图像数据的设定行为识别方法及装置

本申请公开了一种基于图像数据的设定行为识别方法及装置。方法包括：对图像采集单元采集的视频帧进行周期采样，获得采样视频数据；对采样视频数据进行对象识别，将采样视频数据中包含设定对象、且设定对象数量大于等于设定阈值的视频数据，作为有效视频数据；选用相应的视觉处理模型以及自然语言处理型；为所述视觉处理模型生成多模态内容分析的提示语句；利用所述视觉处理模型对有效视频数据进行文本描述，为有效视频数据生成图像字幕；将所述图像字幕输入相应处理模型，以确定所述有效视频数据中是否存在设定行为，并确定存在设定行为的概率，输出所确定的概率。本申请减少了视频帧中特定行为的误判，节省了大量的处理资源。