摘要
本公开实施例提供了一种API信息抓取方法、电子设备、存储介质和程序产品。该方法包括:基于链接获取策略以及与大模型进行至少一次提示交互,获取初始页面的目标子链接队列;基于动态爬虫程序依次遍历目标子链接队列中的子链接,并建立遍历到的子链接对应页面的页面模型,针对每个页面模型分别执行以下操作:基于交互结果和动态爬虫程序模拟初始页面中客户端与服务端的交互;获取交互产生的关于初始页面的API信息。该实施例方案解决了大模型无法动态爬取的问题,又避免了面对不同网页结构时需要重复设计爬取方案的问题,提高了API信息爬取的准确性、全面性以及信息抓取效率。
技术关键词
信息抓取方法
页面模型
动态爬虫
服务端
队列
客户端
应用程序编程接口
处理器
策略
网页结构
电子设备
可读存储介质
计算机程序产品
存储器
元素
表单
系统为您推荐了相关专利信息
接口访问方法
页面访问请求
服务端
页面组件
计算机可执行指令
云端协作
修改系统
服务端
LSTM神经网络
客户端
校核计算方法
并行计算模式
并行计算设备
负载均衡机制
并行求解方法
消息发送控制方法
历史监测数据
频率
预测网络状态
发送控制装置