基于长记忆语义模式驱动的大模型训练与推理方法

本发明公开一种基于长记忆语义模式驱动的大模型训练与推理方法，包括：采集多个渠道的长文本数据，并进行结构化格式存储及类别标注；初始化模型参数；开始进行多批次训练；在数据输入及各隐藏层中添加噪声；模型对输入数据进行前向传播；根据实际标签与预测结果计算损失，以及利用偏置校正机制进行一阶和二阶矩估计来更新模型的参数；动态调整学习率和正则化系数；利用训练完成的模型进行推理。本发明提高了模型对长距离依赖关系的捕捉能力，在面对复杂和多变的输入时表现更佳，提高了训练效率，并减少了过拟合的风险，能够有效控制模型权重的稀疏性和分散程度，从而进一步提高模型的泛化能力。