一种基于大数据管理的数据标注方法及系统

本发明提供了一种基于大数据管理的数据标注方法及系统，通过集成多虚拟机协同标注、多模型融合标注、自适应数据预处理与分层清洗以及多维度任务调度与动态负载均衡机制，实现高效、准确和智能的数据标注。所述方法包括：对原始大数据进行自适应预处理与分层清洗，去除噪音、填补缺失值并完成格式转换；根据数据特性将预处理后的数据划分为多个子任务；利用多虚拟机技术将各子任务分配至不同虚拟机实例上并行处理；在各虚拟机上采用多模型标注机制对同一数据片段分别进行标注；对各虚拟机内多模型输出结果采用加权融合或投票机制生成综合标注结果；将各虚拟机标注结果汇总，形成全局数据标注结果。