基于可训练残差连接与双尺度卷积Transformer的大语言模型的训练方法、装置、计算机设备及可读存储介质

本发明公开了一种基于可训练残差连接与双尺度卷积Transformer的大语言模型的训练方法、装置、计算机设备及可读存储介质，包括：首先获取基于多层Transformer架构的基础模型，其各层含自注意力与前馈网络且嵌入双尺度卷积模块，输出融合后作为该层输出，各层输入输出间配置可训练权重矩阵调整残差连接强度。获取预处理样本文档构建训练集，基于此对基础模型训练至预设条件，得到融合可训练残差连接与双尺度卷积的大语言模型，可提升模型性能与泛化能力。