摘要
本说明书实施例提供了一种人工智能大模型数据集管理方法及系统,其中,方法包括:获取各部门上传的数据集,对上传的数据集根据数据治理规则模板进行标准化处理,包括数据标注、清洗和审核;将处理后的数据集及对应的数据权限存储至数据库中,存储格式包括结构化数据和非结构化数据;对数据库中的数据进行分析,根据数据分布情况判断是否存在数据异常,对异常数据提供优化建议。本发明通过分布式的数据管理架构和集中化的治理标准,为大型企业提供了一种高效、灵活且安全的数据准备与治理解决方案。
技术关键词
管理方法
计算机可执行指令
数据分布
数据管理架构
异常数据
角色访问控制
TLS协议
模板
数据分析模块
数据存储模块
数据处理模块
日志
加密
数据格式
管理系统
处理器
算法