一种基于多模态卷积神经网络的情绪识别装置

本申请涉及智能识别领域，其具体地公开了一种基于多模态卷积神经网络的情绪识别装置，其通过获取被测对象的面部表情图像和脑电信号，并采用基于深度卷积神经网络模型的图像分析和信号处理技术来对所述面部表情图像进行卷积编码，对所述面部表情图像进行语义编码，以此根据面部表情图像卷积编码特征和脑电信号波形语义特征之间的稀疏交互融合特征来自动地判断情绪类型。这样，可以更全面地捕捉情绪状态并突出那些对于情绪识别至关重要的特征，从而提高情绪识别的准确性，同时，多模态识别能够更好地适应不同个体和情境下的情绪表达，具备更好的泛化能力。