摘要
本发明提供了一种批量数据存储方法、系统、设备及介质,属于数据存储计算领域。所述方法包括:定时获取系统负载数据,并保存为历史负载数据;建立数据表结构,所述数据表结构包括数据目标表、批次信息表;监听数据写入请求,解析数据写入请求中的数据结构和预期写入总量,根据预期写入总量在批次信息表中新增一条数据;基于历史负载数据利用预设预测模型分析历史数据写入情况,确定出最优的批次处理数量,并根据当前系统的负载数据调整数据写入策略;启动数据写入策略,在每个批次写入前,进行数据完整性校验、数据压缩处理和加密处理;采用异步处理方式将数据分批写入数据库;将写入进度信息实时更新至批次信息表中。
技术关键词
批量数据
存储方法
数据表结构
数据完整性校验
监控工具
支持向量机回归
数据压缩
构建预测模型
策略
唯一性
支持向量机方法
系统资源利用率
管理线程池
总量
训练预测模型
滑动时间窗口
加密
格式
客户端
系统为您推荐了相关专利信息
三维网格模型
环境感知数据
点云
曲率特征
卷积神经网络模型
多模态特征
决策
构建训练集
监控工具
人工智能技术
生成设备密钥
加密存储方法
视频回放方法
标识符
密码