一种低算力高性能大语言模型领域微调方法

AITNT
正文
推荐专利
一种低算力高性能大语言模型领域微调方法
申请号:CN202510185307
申请日期:2025-02-19
公开号:CN120124743A
公开日期:2025-06-10
类型:发明专利
摘要
本发明提供了一种低算力高性能大语言模型领域微调方法,涉及大语言模型技术领域,包括:配置与输入数据对应的输出数据;通过大语言模型得到输出数据,并判断输出数据是否满足期望,并确定输入数据在不同条件下的条件概率;对输入数据的条件概率进行分类并分配标记,并根据分配标记,为每个令牌分配尺度值,构建令牌级损失函数;根据构建的令牌级损失函数,通过前向传播和反向传播计算对大语言模型进行调整。本发明通过对不同条件下的各个自然语言token条件概率进行对比,直接将自然语言作为监督信号,对其中的显著性标记进行定位并进行尺度赋值,相比其他算法有更低的时间复杂度和更好的效果。
技术关键词
大语言模型 微调方法 令牌 数据 高性能 标记 语义 自然语言 标识 表达式 基础 比率 聚类 超参数 复杂度 算法 信号
系统为您推荐了相关专利信息
1
一种机器人巡检路线跨坐标系转换与共享方法及系统
巡检机器人 机器人巡检 坐标系 共享方法 网络通信协议
2
代客操作风险预测方法、装置、设备、存储介质及程序产品
风险预测模型 员工 数据 计算机执行指令 风险预测方法
3
一种类内区域动态解耦的医学图像分割方法
医学图像分割方法 学生 教师 血管分割 动态
4
一种基于企业信用数字化的企业风险评估分析系统
数据源管理 分析模块 合规性 企业信用风险 训练信用评分模型
5
一种基于WIFI、蓝牙、GNSS定位、移动网络的ETC智能OBU装置
智能OBU装置 磁力计 SAM模块 移动网络 4G模块
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号