一种多模态运动感知模型训练方法、行为识别方法及装置

本申请公开了一种多模态运动感知模型训练方法、行为识别方法及装置，涉及深度学习技术领域，包括：分别基于针对每个时刻的运动对象的多种运动状态数据，以及预设的取值固定的空间全局向量，生成该时刻的空间向量序列；分别将每个时刻的空间向量序列输入空间编码器，得到空间编码器输出的空间编码向量序列；基于多个时刻的空间全局编码向量与预设的取值固定的时间全局向量，生成时间向量序列；将时间向量序列输入时间编码器，得到时间编码器输出的时间编码向量序列；基于时间全局编码向量，识别运动对象的行为类别；基于识别出的行为类别，调整空间编码器和时间编码器的网络参数。采用本方案，提高了运动感知的整体性能。