摘要
本发明公开一种训练数据集版本管理方法及系统,涉及数据管理技术领域;包括:步骤1:建立用于模型训练的数据集,为数据集生成唯一标识,步骤2:管理数据集版本:步骤21:建立数据集版本,步骤22:利用公式V=D+T+S,生成数据集版本标识,步骤23:根据数据集版本,创建所选数据集的静态快照;步骤24:根据静态快照,检查数据集中将发生内容变动的文件对象是否包含在静态快照中,是则将文件对象的当前版本拷贝到静态快照的对应存储中,并更新静态快照的元数据的对象索引,再进行数据集的变动操作,步骤25:校验数据集完整性;本发明降低数据管理复杂度,保障模型训练的质量和可靠性。
技术关键词
版本管理方法
对象
快照
版本管理系统
哈希算法
生成数据集
标识
生成数字签名
校验模块
签名机制
数据管理技术
索引
警报
识别码
私钥
解密
加密