一种基于视听融合的机器人室内易混淆行为类识别方法

本发明公开了一种基于视听融合的机器人室内易混淆行为类识别方法，使用视频在空间分布上的信息、时间差分上的特征信息以及音频中的类别信息对视频中的行为类进行整体识别。在音频信息的处理上，直接使用膨胀因果卷积处理原始音频信息，从而避免音频转化为其它信息格式过程中的信息损失。考虑到行为特征在视觉、声音上是不均匀分布的，本发明在解码器中引入了类别自适应的特征融合网络。融合网络通过引入类别混淆表构建了损失函数形成了自适应的训练范式。本发明使用深度网络对现有行为识别视频数据滤除杂音，并构建了室内场景下针对视觉易混淆行为的视频数据集，能够训练出收敛的视听融合的行为识别模型。