一种实现ETL数据处理流程优化的智能化数据整合方法、系统、设备及介质

本发明提供一种实现ETL数据处理流程优化的智能化数据整合方法、系统、设备及介质，属于数据处理技术领域，所述方法包括如下步骤：从来源库中收集元数据信息，并对元数据信息进行分析，识别出关键信息；使用大模型分析系统对元数据信息及关键信息进行解析，并识别出来源库中缺失的数据，再根据解析结果对缺失的数据进行填充；进行ETL任务基础配置，并生成全量ETL任务及增量ETL任务；定义数据处理的调度策略，并按照数据处理的调度策略启动ETL任务的执行。本发明实现了ETL数据处理流程的优化，提高了数据整合的效率和灵活性，能够自动分析元数据、识别关键信息、填充缺失数据，并自动生成ETL任务，减少了人工干预。