摘要
本发明公开了一种基于语义大模型的电力客服智能问答方法及相关装置,所述方法包括:获取电力用户提问;基于电力客服智能问答大模型对所述提问进行处理,输出电力用户提问的回复;模型构建方法:通过引入相对位置编码信息,构建基于Transformer的电力客服语义大模型,并进行大模型预训练;通过改进相对位置编码对智能问答的上下文长度进行拓展,并通过大模型训练和优化更新得到电力客服智能问答大模型。本发明主要设计电力客服语义大模型上下文窗口扩展方法以及训练方法,并将其应用于电力客服语义大模型的微调阶段,使模型更加适应特定领域的语境和问题类型,准确理解用户的需求和偏好,从而提供更加个性化和精准的服务,提升用户体验和服务质量。
技术关键词
电力
智能问答方法
语义
位置编码信息
智能问答系统
指令
模型预训练
插值方法
客服知识库
业务系统数据
波长
词嵌入向量
窗口扩展方法
解码器
转换器
注意力
比率