基于L0稀疏深度张量典型相关分析的多模态情绪识别方法及系统

本发明涉及多模态情绪识别技术领域，提供一种基于L0稀疏深度张量典型相关分析的多模态情绪识别方法及系统。该方法包括：步骤1：采集多模态信号；其中所述多模态信号包含面部信号、语音信号和文本信号；步骤2：对多模态信号进行特征提取得到三种模态的外向表征特征；所述外向表征特征包括面部特征、语音特征和文本特征；步骤3：利用所述外向表征特征对MutilL0‑DTCCA模型进行训练，得到多模态情绪识别模型；其中所述MutilL0‑DTCCA模型在DTCCA模型的基础上引入了包含L0范数和深度张量典型相关分析相关项的损失函数；步骤4：将待预测的多模态信号提取外向表征特征后输入到所述多模态情绪识别模型中得到多模态情绪的识别结果。本发明可提高多模态情绪识别的准确性。