一种大数据环境下的数据流处理系统及方法

本发明涉及数据处理技术领域，尤其涉及一种大数据环境下的数据流处理系统及方法。内容包括：实时采集数据，得到原始多源异构数据流；引入数据适配机制对原始多源异构数据流进行规范化处理，得到规范化的数据流；对规范化的数据流进行智能调度，得到初步调度策略；基于数据流处理系统的反馈数据，得到并行实时状态反馈和边缘实时状态反馈，对初步调度策略进行优化，基于优化后的调度策略，将规范化的数据流分为主规范化的数据流和次规范化的数据流，并对主规范化的数据流和次规范化的数据流进行处理。解决了传统的数据处理系统在大数据环境下处理数据流时，对多源异构数据不能准确适配以及在处理时分配调度不合理的问题。