用于AI云计算训练的大数据清洗方法

本申请涉及大数据处理技术领域，公开了用于AI云计算训练的大数据清洗方法，包括：提取多模态数据的统一特征向量，并同步分析数据质量指标及资源状态信息；根据所述特征向量、数据质量指标及资源状态信息，动态生成数据清洗策略；依据所述数据清洗策略，执行跨模态协同的数据清洗，同时记录对应的清洗任务负载信息；基于记录的清洗任务负载信息，进行云边协同的弹性资源调度；根据下游训练模型反馈结果，闭环优化数据清洗策略。本发明采用基于双通道Q网络的动态数据清洗策略生成方法，能够根据数据质量和资源状态智能调整清洗策略。在处理多模态数据时，精确识别数据清洗优先级的效果；避免了静态清洗策略的局限性，实现了更高效的数据清洗。