摘要
本发明提供了基于封装大模型训练平台的自动学习引擎装置,包括:统一接入规范模块,通过YAML配置模板文件规范化训练和推理参数配置;多设备支持与并行计算框架模块,兼容CPU、GPU、NPU三种硬件设备,并且支持包括Accelerate、DeepSpeed两种并行计算框架;训练引擎模块,采用三层架构实现任务分配、状态监控和异常处理;训练算法框架模块,用于解析运行配置文件、进行数据集拆分、数据格式转换、支持多种微调训练方法并对模型进行评估。本发明整体方案降低了大模型微调的技术门槛,使非专业人员也能通过简单配置完成复杂的模型训练任务,促进了大模型技术的普及应用。
技术关键词
并行计算框架
引擎装置
微调方法
超参数
注册事件
训练算法
WebSocket协议
多设备
数据格式
检查点
模块
硬件设备
模板
矩阵
平台
容器编排系统
统一资源标识符