基于视频和毫米波雷达的船舶驾驶员行为识别方法及系统

本发明提供一种基于视频和毫米波雷达的船舶驾驶员行为识别方法及系统，方法包括：对驾驶员的视频影像数据与三维空间方位和速度数据进行时间同步，与对应的驾驶员行为一起构成数据集；对视频影像数据处理生成反映驾驶员行为特征的图像序列，对三维空间方位和速度数据处理生成驾驶员的点云数据；构建多通道特征提取网络对点云数据进行增强处理；基于占用网络的行为识别模型，对图像序列和点云数据提取融合特征，预测驾驶员行为的概率分布；利用构建的数据集对行为识别模型进行训练和验证；利用训练好的行为识别模型，实时监测驾驶员的行为，提高识别精度和适应度。