一种基于多跳转多模态知识图谱的服务融合方法与系统

本发明公开了一种基于多跳转多模态知识图谱的服务融合方法与系统。利用预训练模型对服务请求和知识图谱进行编码，得到服务请求特征、实体特征、关系特征、文本描述特征、图像语义特征、视频语义特征；把实体特征、文本描述特征、图像语义特征、视频语义特征融合得到服务实体特征，并将其输入到Transformer模型，利用服务请求特征对知识图谱进行过滤得到知识图谱子集；构造并利用强化学习模型和知识图谱训练形成离线策略网络；在线更新离线策略网络，在奖励机制的引导下建立起不同服务实体之间的联系，实现服务融合。本发明克服了推理效率低下和跨模态关联困难等问题；克服了传统模型在跨领域关系和语境捕捉方面的不足，提高了知识图谱推理的精度和效率。