基于蜂群觉察机制的前馈网络动态学习调整训练方法

AITNT
正文
推荐专利
基于蜂群觉察机制的前馈网络动态学习调整训练方法
申请号:CN202510070655
申请日期:2025-01-16
公开号:CN119940446A
公开日期:2025-05-06
类型:发明专利
摘要
本发明公开一种基于蜂群觉察机制的前馈网络动态学习调整训练方法,包括:初始化前馈网络结构与蜂群算法的参数;通过蜂群算法中的每个蜜蜂个体对前馈网络权重进行优化搜索;使蜜蜂个体根据局部搜索与全局信息进行合作,更新其位置;根据当前前馈网络的学习进度动态调整前馈网络的学习率;训练结束后,计算前馈网络输出结果与真实标签之间的损失值;重复上述步骤直至满足预设的停止迭代条件。本发明采用蜂群觉察层用于全局信息的优化与增强,允许模型在训练过程中进行动态学习调整,并通过模仿蜜蜂的群体行为,不断优化前馈网络权重的分布,避免出现参数陷入局部最优情形。
技术关键词
蜂群算法 蜜蜂 预训练语言模型 多头注意力机制 动态更新 超参数 解码器 编码器 自然语言理解 网络结构 标签 大语言模型 冗余特征 输出特征 样本
系统为您推荐了相关专利信息
1
人口数据研判方法及系统
研判方法 数据格式 动态更新 研判系统 语句
2
基于分层特征补偿的跨层约束Transformer网络实现方法
分层特征 医学图像分割 编码器模块 加权特征 解码器
3
电网故障诊断方法
电网故障诊断方法 模式识别 动态故障树模型 设备配置 动态更新
4
一种基于层间融合的大语言模型KV cache压缩方法
注意力 动态更新 分块 大语言模型 问答系统
5
基于图神经网络的地下水污染路径微观分析方法
微观分析方法 模糊隶属函数 实时监测数据 模糊推理系统 地下水
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号