用于缓解语义冲突的分层多模态融合方法和装置

一种用于缓解语义冲突的分层多模态融合方法和装置，其方法包含：分层注意力将自注意力机制、交叉注意力机制以及多尺度卷积机制相结合，使模型能够交互集成来自其他剩余模态的语义一致性特征，并将空间信息与语义一致信息联系起来。此外还提出了超注意力网络对初步融合特征进行优化，巩固主模态核心语义特征，并保留一定的特有信息，从而缓解了语义冲突，保证获得更加连贯的多模态融合特征表示。从而提高检测器性能。