一种面向服务型机器人的多模态情感识别方法及系统

本发明属于人工智能技术领域，尤其是指一种面向服务型机器人的多模态情感识别方法及系统，所述方法包括：采集用户情绪变化的音视频流数据，分离出视觉与语音数据；通过预训练模型提取视觉、语音情感特征，计算各模态预测概率分布；基于该分布构建双模态置信度量化模型，得到各模态置信度；采用分段式动态权重分配策略融合特征，进而识别用户情感状态。本发明融合视觉与语音模态，结合动态时间规整实现特征对齐，通过置信度模型、动态权重策略及跨模态时序协同模块、共享表示空间优化性能，在复杂环境下具备高识别准确率、强鲁棒性及实时处理能力，适用于多种服务场景。