一种基于双向翻译交互的超多模态情感分析方法及系统

本发明涉及多模态情感分析技术领域，尤其是涉及一种基于双向翻译交互的超多模态情感分析方法及系统。方法，包括获取超多模态情感分析的历史数据样本和当前数据样本，包含图像、音频、文本、脑电和眼动共五种模态；将历史数据中的相似样本与当前数据样本进行加权融合，得到增强后的不确定模态缺失下的超多模态特征；将不确定模态缺失下的超多模态特征分别进行自注意力交互以提升各模态质量；将非脑电的四个模态进行拼接融合以及自注意力交互形成初始融合四模态，并通过多头注意力机制将脑电翻译为新的融合四模态；本发明通过将当前样本与相似样本进行加权平均融合，以增强各模态的质量。