一种情绪识别方法和装置

本发明提供一种情绪识别方法和装置，方法包括：采集人脸视频数据和环境数据；根据采集的人脸视频数据提取图像数据、语音数据和文本数据；从提取的图像数据中提取图像特征和生理信号特征；从提取的语音数据中提取音频特征；从提取的文本数据中提取文本特征；从采集的环境数据中提取环境特征；利用注意力机制将提取的图像特征、生理信号特征、音频特征、文本特征和环境特征进行拼接融合，生成多模态融合特征；将生成的多模态融合特征输入预训练的情绪检测模型进行情绪识别，输出多模态融合特征所属的情绪内容。本发明能够解决现有情绪识别方法，仅使用单模态图片，忽略其他模态数据的问题。