以音频模态为目标模态的多模态情感分析方法和系统

本申请涉及多模态数据处理技术领域，具体为以音频模态为目标模态的多模态情感分析方法和系统；为解决现有技术中多模态情感分析准确度较低的问题，本申请制定当存在音频模态时，将图像模态和文本模态翻译为音频模态，经融合后进行神经网络处理，得到多模态情感预测结果；当不存在音频模态时，用互信息分数来判断哪个模态中所含的情感信息更多，以此来让其他模态向其翻译，得到缺失联合特征，并将标准完整联合特征作为目标，缺失联合特征向完整联合特征逼近进行神经网络处理，得到多模态情感预测结果；该方法应用到多模态情感分析领域中，处理过程更灵活、分析过程更全面、更合理，得到情感预测结果准确度更高。