驾驶员行为识别方法、装置、设备及存储介质

本公开提供一种驾驶员行为识别方法、装置、设备及存储介质，属于计算机图像识别技术领域。驾驶员行为识别方法包括：获取包含驾驶员行为的视频帧序列和热图帧序列；利用多模态交互神经网络和时间权重自适应卷积，基于视频帧序列和热图帧序列，生成第一特征图和第二特征图；时间权重自适应卷积用于基于每个帧在各自时间序列中的位置为每个帧赋予相应的时间权重；第一特征图为基于时间加权的骨架引导的外观特征图，第二特征图为基于时间加权的外观引导的骨架特征图；基于第一特征图和第二特征图进行驾驶员行为识别，得到识别结果。本公开通过引入多模态交互和时间权重自适应机制，专注于驾驶员的细粒度行为，有效提高识别结果的准确性。