基于人工智能和多模态数据处理的动态数据管道构建方法

本发明涉及一种基于人工智能和多模态数据处理的动态数据管道构建方法，属于数据融合治理和人工智能技术领域。本发明采用多模态深度学习模型，对业务文档、用户需求和功能规格说明进行语义解析，提取关键指标、数据需求和逻辑约束；构建多模态知识图谱，对结构化和非结构化数据资源进行统一表示和特征提取，利用图神经网络进行嵌入学习；基于深度语义匹配模型和混合推荐系统，实现业务需求与数据资源的精准匹配；采用强化学习策略，将数据处理流程的生成建模为马尔可夫决策过程，自动生成优化的数据处理工作流；利用元学习算法提高模型对新业务需求的适应性；通过工作流引擎实现任务的动态调度与执行。本发明能提高数据处理的效率。