摘要
本申请实施例提供一种情感预测方法、电子装置、车辆、介质和计算机程序产品,通过基于视频流获取初始视觉特征和初始听觉特征;对所述初始视觉特征和所述初始听觉特征进行交叉注意力处理,得到所述初始视觉特征对应的目标权重和所述初始听觉特征对应的目标权重;基于所述初始视觉特征、所述初始视觉特征对应的目标权重、所述初始听觉特征和所述初始听觉特征对应的目标权重进行情感预测,得到目标情感预测结果,也就是,通过不同的权重来体现视频流不同模态的特征对预测结果的影响程度,然后基于不同模态的特征和其对应的权重预测视频流带来的情感,从而,提高了情感预测结果的准确性。
技术关键词
听觉
融合特征
情感预测方法
长短期记忆网络
视频流
编码器
分段
交叉注意力机制
视觉特征提取
巴特沃斯滤波器
计算机程序产品
特征提取模型
梯度下降算法
电子装置
音频
上存储计算机程序
人脸检测模型