基于多模态学习的智能客服自动回复生成方法及系统

本申请提供了基于多模态学习的智能客服自动回复生成方法及系统，涉及智能客服技术领域，方法包括：对客户输入的多模态数据进行特征编码后，构建模态特征向量；对模态特征向量进行时间对齐后，基于跨模态注意力机制进行模态特征向量的特征融合，建立融合特征；将融合特征映射至业务知识谱图的实体与关系集合中，建立情境节点，并在情境节点建立情境图谱结构；利用情境图谱结构进行多标签意图识别，并执行情绪分类，建立识别结果；将识别结果输入至策略规划器，根据客户特征、识别结果建立业务策略模板后，输出自然语言回复。通过本申请可以解决现有技术中存在客服智能回复效率的技术问题，达到提高客服智能回复效率的技术效果。