一种基于多模态的数智客户服务系统

本发明公开了一种基于多模态的数智客户服务系统，通过多模态输入模块采用动态自适应补偿机制对初始多模态问题数据进行数据补偿。通过多模态对比学习模块采用交叉模态注意力机制对目标多模态问题数据进行动态权重分配。通过意图识别模块根据历史交互数据和预设动态知识图谱将目标多模态语义向量进行意图识别。通过答复生成模块将用户意图数据输入目标强化学习答复模型进行答复数据构建。通过潜在问题预测模块采用目标多模态语义向量、用户对应的历史交互序列和时间数据进行潜在问题预测。利用知识图谱的动态更新能力，实现对用户问题的上下文敏感识别，提高识别准确度。潜在问题预测模块从被动响应转向主动服务，显著提升交互效率和用户满意度。