一种复杂网络大数据结合大模型智能治理及调度方法、设备及介质

本发明公开了一种复杂网络大数据结合大模型智能治理及调度方法、设备及介质，包括主线程、异步抓取线程和网页解析线程；主线程用于异步抓取线程和网页解析线程的创建；异步抓取线程从URL任务队列中获取网页网址，然后完成网页的Socket抓取，并将得到的网页存入网页结果队列中；网页解析线程负责分配网页解析线程，从网页结果队列提取网页进行分析，从网页内容中提取出有效的URL并存入URL任务队列；网页解析线程采用大模型二次训练并根据反馈结果统一分配调度；采用Pareto支配算法构建最优解模型，用于对异步抓取线程内的数据进行计算并获得异步抓取线程中最优解线程并标记。本发明的方法能够提高复杂网络数据的治理及调度效率。