基于GNN学习的电子商务反爬虫对抗爬取方法、装置及设备

本发明提供的基于GNN学习的电子商务反爬虫对抗爬取方法、装置及设备，涉及数据爬取技术领域。本发明根据电子商务网站的历史数据构建初始异构图，并采用多层次并行图卷积操作生成节点和边的多尺度嵌入向量，构建多层次图神经网络；引入跨层次融合注意力和层级门控机制对多层次图神经网络的每一层进行层内自注意力处理并动态调整不同层次的权重分配；再进行多尺度嵌入向量的跨层融合，同时引入Transformer模块得到最终嵌入向量；通过实时获取网站反馈信息更新多层次图神经网络，并生成当前状态空间嵌入向量；最后，结合奖励函数进行电子商务网站爬取结果的评价分析，以实时调整网站反爬策略。本发明能够实现对电子商务网站环境状态的实时感知与动态优化。