基于增量图卷积网络的内河船舶异常行为感知方法及装置

本发明提供了一种基于增量图卷积网络的融合多模态数据的内河船舶异常行为感知方法及装置。包括：获取内河船舶的激光点云数据、视频图像数据、AIS数据和通航水位数据；对获取的4类数据进行预处理；视频与激光点云数据融合，基于两阶段前后融合算法，将预处理后的数据进行融合，得到具有精准三维信息的船舶图像目标；视频与AIS数据融合，将预处理后的视频图像数据和AIS数据进行融合，得到含有船舶属性数据的船舶目标；基于船舶特征数据，构建语义聚类增量图模型S‑GCN；构建多模态信息关联融合的增量图模型M‑GCN；构建基于增量图模型的多模态信息融合异常行为感知的增量图卷积框架图；将特征数据进行匹配，得到融合后的多模态特征数据输入到检测框架网络，在船舶偏航预警检测、船舶过桥预警检测和船舶碰撞预警检测任务中表现出较高的检测性能，检测准确性和有效性。