一种基于人工智能的人机交互系统

本发明提供一种基于人工智能的人机交互系统，涉及人机交互系统技术领域，包括，多模态数据采集单元，用于采集用户语音信号、面部图像及环境参数，并通过预设处理模块分别提取语音特征向量、视觉特征向量和环境特征向量，情感识别与用户画像单元，将每个所述特征向量拼接后输入联合卷积神经网络与自注意力编码器。该基于人工智能的人机交互系统，联合卷积神经网络再对拼接向量进行局部融合，进一步提取跨模态的细粒度特征；自注意力编码器能够捕捉不同通道之间的全局关联，使得融合隐状态向量同时兼顾语音细节、面部表情与环境上下文，从而使情感分类层能够获得更准确的情绪判别结果。