摘要
本发明提供了一种低算力高性能大语言模型领域微调方法,涉及大语言模型技术领域,包括:配置与输入数据对应的输出数据;通过大语言模型得到输出数据,并判断输出数据是否满足期望,并确定输入数据在不同条件下的条件概率;对输入数据的条件概率进行分类并分配标记,并根据分配标记,为每个令牌分配尺度值,构建令牌级损失函数;根据构建的令牌级损失函数,通过前向传播和反向传播计算对大语言模型进行调整。本发明通过对不同条件下的各个自然语言token条件概率进行对比,直接将自然语言作为监督信号,对其中的显著性标记进行定位并进行尺度赋值,相比其他算法有更低的时间复杂度和更好的效果。
技术关键词
大语言模型
微调方法
令牌
数据
高性能
标记
语义
自然语言
标识
表达式
基础
比率
聚类
超参数
复杂度
算法
信号
系统为您推荐了相关专利信息
巡检机器人
机器人巡检
坐标系
共享方法
网络通信协议
风险预测模型
员工
数据
计算机执行指令
风险预测方法
数据源管理
分析模块
合规性
企业信用风险
训练信用评分模型
智能OBU装置
磁力计
SAM模块
移动网络
4G模块