基于云计算的大数据分布式存储与并行处理协同方法

AITNT
正文
推荐专利
基于云计算的大数据分布式存储与并行处理协同方法
申请号:CN202510375144
申请日期:2025-03-27
公开号:CN120315867A
公开日期:2025-07-15
类型:发明专利
摘要
本发明公开了基于云计算的大数据分布式存储与并行处理协同方法,该方法包括:通过自适应动态分块引擎实时感知数据流特征,动态调整分块策略并生成元数据标签;通过综合评价算法构建节点选择模型,选择存储节点组成最优存储集群,通过负载优化模块基于负载状态动态调整资源匹配权重系数;将数据处理任务分解为并行子任务单元,构建双目标优化模型;通过分布式监控代理并结合分级预警策略触发动态再平衡机制;构建多级缓存体系优化数据访问路径,输出最终结果推送至用户终端并更新知识库。本发明通过动态分块、多维资源调度、弹性伸缩及智能缓存技术的协同优化,显著提升系统资源利用率、负载均衡能力及高并发场景下的稳定性。
技术关键词
协同方法 节点 存储集群 分块策略 优化数据访问 多维评价指标 规则生成器 动态 评价算法 分布式监控 模拟退火算法 Bloom过滤器 数据标签 智能缓存技术 特征提取模块 网络拓扑位置 系统资源利用率
系统为您推荐了相关专利信息
1
基于区块链技术的报警信息处理方法及系统
报警信息处理方法 区块链技术 实时数据 存证信息 数据存证
2
CAD三维模型变量化建模方法、装置、电子设备及介质
建模系统 三维模型 子系统 化建模方法 变量
3
快递行业人员管理与职业安全动态关联分析系统方法
动态关联分析 系统方法 员工 任务调度 强化学习算法
4
一种无人清洁器自动清洁方法及系统
关注点 清洁器 清洁方法 全局路径规划 固态激光雷达
5
一种钻井工程设计在线协同方法及系统
钻井工程设计 协同方法 协同系统 在线 数据模块
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号