一种支持并行编程中的实时数据流处理的并行计算方法

本申请提供一种支持并行编程中的实时数据流处理的并行计算方法，包括：实时数据流通过并行流水线划分分片,由不同线程过滤指定字段以提高效率；完成过滤后,利用MapReduce的局部聚合功能对结果进行局部聚合,减少数据量；建立基于RedisCluster的分布式内存数据库,将数据按时间窗口分片存储；构建长短期记忆递归神经网络模型,通过参数服务器架构进行并行训练；若长短期记忆递归神经网络模型需要增量学习,则预留参数接口进行迭代更新,避免重复训练；训练完成后,将模型部署到GPU服务器上,对实时数据流进行预测；通过分布式内存计算框架的任务调度器,自动管理线程、进程间的协作,简化编程工作。