基于自动化抓取技术的LLM数据采集处理方法及系统

本发明公开了一种基于自动化抓取技术的LLM数据采集处理方法及系统，涉及人工智能技术领域，该方法包括：分布式节点架构中的每个爬取节点分配数据采集任务；爬取节点基于数据采集任务访问不同的数据源，以得到采集数据；当爬取节点完成一轮数据采集后，基于采集进度和采集效率调整任务分配；对采集数据进行第一次数据处理，对经过第一次数据处理后的采集数据进行数据质量评估、无效信息去除和文本校正；将来自不同数据源已完成第一次数据处理的采集数据进行整合，得到整合数据，对整合数据进行第二次数据处理，以得到LLM数据，有助于解决现有技术无法高效且高质量地采集、处理用于LLM的各类数据源的数据的问题。