一种基于大模型的文本内容清洗标注方法及系统

本发明涉及人工智能技术领域，公开了一种基于大模型的文本内容清洗标注方法及系统，利用服务器标识确定数据处理领域适应值排序表和数据处理能力量化信息，利用数据处理映射责任区域查询所属生产数据输出单元，预测生成生产数据输出信息和数据传输质量，建立包含数据处理能力量化信息与数据传输质量的约束条件集以及数据处理领域适应值排序表确定的优化目标，综合考虑数据处理需求与能力匹配、大模型服务器领域相关性以及数据传输质量等因素的影响，规划分布式大模型数据处理架构下的数据处理调度策略，进而控制生产数据传输和数据清洗与标注的执行，在实现适应场景多因素影响下的大模型服务器负载均衡的同时，提升数据处理的效率与质量。