一种基于多模态数据融合的线路巡检通道人群行为识别方法及系统

本申请提供一种基于多模态数据融合的线路巡检通道人群行为识别方法及系统，属于人工智能领域，用以提高线路巡检通道场景下人群行为识别的准确性。该方法包括：处理设备获取可见光摄像头采集的线路巡检通道的视频流；处理设备获取深度相机采集的线路巡检通道的3D点云流；处理设备从视频流中提取时序图像特征序列，以及从3D点云流中提取时序3D点云特征序列，其中，时序图像特征序列与时序3D点云特征序列为同一目标时刻的特征序列；处理设备通过图神经网络对时序图像特征序列和时序3D点云特征序列执行趋于正交化执行聚合处理，得到线路巡检通道在目标时刻的行为检测结果。