摘要
本申请涉及神经网络系统,至少包括:多模态输入神经网络,被配置成对所获取的与多个输入模态对应的多个环境感知数据进行第一编码以便获得用于多个环境感知数据的多个特征数据和对多个特征数据进行第一融合以便获得经融合的多模态特征数据;编码器神经网络,被配置成至少对多模态特征数据进行第二编码以便获得多尺度特征数据,编码器神经网络针对多模态特征数据包括分别包括针对不同分辨率的至少两个并行分支的多个阶段;解码器神经网络,被配置成对多尺度特征数据进行解码以便获得解码器输出数据;多模态输出神经网络,被配置成在使用所述解码器输出数据的情况下获得环境感知结果。本申请还涉及训练方法、环境感知系统和方法以及计算机程序产品。
技术关键词
神经网络系统
编码器
环境感知系统
环境感知数据
阶段
多模态特征
环境感知方法
多尺度特征
解码器
计算机程序指令
分支
计算机程序产品
计算机可读程序介质
注意力
分辨率