一种基于ScrapeGraphAI的网络数据自动化采集方法

本发明公开了一种基于ScrapeGraphAI的网络数据自动化采集方法，包括：接收至少一个目标网络资源的标识符和一个数据提取需求；基于数据提取需求，构建或选择一个包含至少一个获取节点、一个AI分析节点和一个格式化节点的处理图(Graph)；执行获取节点，以获取目标网络资源的内容；执行AI分析节点，包括：利用至少一个大型语言模型(LLM)，基于数据提取需求对获取的目标网络资源的内容进行语义分析，以识别和提取目标数据，其中目标数据的识别和提取基于内容的语义而非预定义的固定结构选择器；执行格式化节点，将AI分析节点提取出的目标数据转换为预定或推断的结构化格式数据；输出结构化格式数据。还公开了系统、电子设备及计算机可读存储介质。