摘要
本发明公开了一种融合神经崩塌检测与调控的个性化学习长尾数据处理方法,包括:a)使用分层抽样的方法构建测试集,剩余数据作为训练集;b)提出了一种文本模态崩塌正则化方法,获得文本在大语言模型(LLM)中文本模态崩塌程度;c)结合文本模态崩塌损失和任务特定损失构建LoRA微调过程中的综合损失函数;d)对大语言模型进行LoRA微调;e)通过在不同个性化学习任务上进行评估,利用多个评估指标(如分类准确率、宏观F1值)对方法作用在模型上的性能进行综合评价。本发明通过神经崩塌现象与文本模态崩塌正则化的结合,解决了个性化学习中的数据分类准确率低的问题,显著提升了大语言模型的泛化能力和鲁棒性。
技术关键词
文本
数据处理方法
分类准确率
训练集
样本
注意力
正则化方法
矩阵
算术平均值
变换器
大语言模型
表达式
数据分类
鲁棒性
参数
指标
报告
规模
元素
系统为您推荐了相关专利信息
人工智能算法
运维方法
参数
挖掘互联网
建立数据传输通道
TBM刀盘
LSTM神经网络
刀盘扭矩
LSTM模型
计算机可执行指令
性能评估方法
智能无人机
效能预测
通信延迟时间
层次分析法