摘要
本发明公开了一种基于生成式AI大模型的数智治理辅助方法,通过选取高质量的微调数据、设计有效的微调策略以及解决长Prompt推理成本高和输出质量下降等问题。本发明从预训练到继续预训练再到领域对齐,通过召回知识减少模型幻觉,保证答案时效性和快速干预模型回答的技术方案,并采用Self‑Instruct、Self‑QA、Self‑KG等数据生成方法构建高质量大规模的领域微调数据,提高模型在特定领域的表现。此外,本发明利用P‑Tuning‑V2在大模型各层加入Prompt tokens以提高模型的可训练参数数量和性能,构建自主的大模型并进行微调,以确保数据安全和满足业务需求,同时减少对外部模型的依赖。
技术关键词
海量多源异构
微调技术
训练集数据
形式呈现给用户
实时数据
企业内部数据
生成指令
特征工程
决策
交互式图表
特征选择
数据生成方法
机器学习方法
统计学方法
物联网设备
大语言模型
重构算法
图谱
系统为您推荐了相关专利信息
推送系统
护理特征
个性化健康建议
多模态数据库
动态规则引擎
输电线路覆冰
风险预警系统
历史监测数据
实时数据处理
Siamese网络
SRIO接口
协议
PCIe设备
多通道并行处理
总线转换系统