一种基于大模型优化的分布式存储系统

本发明提供一种基于大模型优化的分布式存储系统，涉及数据处理技术领域，所述系统包括：参数分析模块，用于获取模型训练任务的参数分布数据；参数分组模块，用于对参数分布数据进行分组处理；分配权值计算模块，用于结合存储节点的负载信息和硬件性能指标，计算各存储节点的分配权值；参数分配模块，用于将参数分组数据分配至不同存储节点；动态监测模块，用于在模型训练或推理过程中，实时监测存储节点的访问请求和负载信息，生成反馈信息；方案调整模块，用于根据反馈信息，对参数分配方案进行动态调节；数据迁移模块，用于对目标存储节点和源存储节点执行参数数据的迁移操作，并更新参数的存储状态；本发明能够提高系统处理能力和效率。