摘要
本申请涉及交通场景视频流的多任务语义压缩方法、装置、设备及介质,方法包括:将当前帧与参考帧的拼接特征输入至第二语义压缩模型,在运动信息编码器中采用多层卷积神经网络逐层提取当前帧与参考帧之间的运动信息特征,生成压缩后的运动信息表示并解码,以生成预测帧;在第二语义压缩模型的残差编码器中提取预测帧与当前帧之间的残差特征,采用多层下采样卷积操作将残差特征进行压缩,以确定压缩后的残差特征,并将压缩后的运动信息表示以及压缩后的残差特征进行融合,以生成当前帧的重建图像;调用预训练的目标检测模型进行解码,以检测出重建图像中的交通场景目标。本申请不仅解决了资源浪费问题,还提高了计算效率,节省了计算开销。
技术关键词
交通场景图像
关键帧
多层卷积神经网络
视频流
信息编码器
语义
多任务损失函数
主编码器
信息解码器
卷积神经网络结构
运动预测信息
基础网络架构