摘要
本发明公开了一种融合AI技术的云计算大数据实时处理方法及系统,涉及大数据实时处理方法技术领域,包括采用数据接入接口从多个异构数据源采集原始数据,得到原始数据集;采用分布式计算框架对原始数据集进行预处理,并得到预处理后的数据集;基于机器学习算法和预处理后的数据集构建负载状态预测模型,输入预处理后的数据集,并输出负载状态预测结果;基于负载状态预测结果调整原始数据集中云计算资源分配量,得到资源分配策略;基于资源分配策略,采用流处理技术搭建数据处理通道,并结合AI算法执行识别任务,得到分析结果;基于分析结果生成特定应用场景的决策报告;通过配置Kafka Connect连接器与多个异构数据源进行连接,实现了多源数据的高效集成。
技术关键词
资源分配策略
分布式计算框架
NoSQL数据库
机器学习算法
AI算法
梯度提升决策树
大数据实时处理系统
资源分配模块
异构
数据采集模块
报告
通道
分析模块
格式
噪声数据
场景
系统为您推荐了相关专利信息
振动监测模块
关键性能参数
主动减振装置
高精度振动传感器
燃料电池系统
物流
电商
标识符
区块链节点网络
粒子群优化算法
通信控制方法
无线充电设备
智能故障诊断
传感器融合技术
机器学习算法
热力图
风电机组发电机
风机轴承
诊断方法
故障诊断模型