一种基于编码器-解码器架构的全模态融合方法及装置

本发明提出了一种基于编码器‑解码器架构的全模态融合方法及装置，解决了现有模态融合技术方案中无法实现多个模态数据并行处理、未考虑同一时刻内不同模态数据之间的相关性的问题。(1)通过特征编码器得到全模态数据的低维编码特征，减少了后续的计算量；(2)将全模态数据的特征编码向量按时间维度拼接，得到同一时刻的全模态特征向量，解决了现有方案无法处理多模态并行的问题；(3)以重构全模态输入向量为训练目标，对编码器与解码器进行训练，在训练过程中实现了同一时刻内与不同时刻之间的特征融合，得到训练后的全模态编码器与全模态解码器，解决了现有技术中无法同时进行全模态数据融合的问题。