一种基于残差自回归交叉注意力机制的特征增强方法

本发明提出一种基于残差自回归交叉注意力机制的特征增强方法，包括以下步骤：S1，构造无监督预训练数据集和有监督微调数据集；S2，基于解码器构建大语言模型，在其中构造残差自回归交叉注意力模块，包含自回归模块、交叉注意力模块和动态权重融合模块，其中动态权重融合模块含有残差连接；S3，使用无监督预训练数据集，通过残差自回归交叉注意力模块对模型进行特征增强预训练；S4，使用有监督微调数据集，通过有监督微调对模型进行后训练直至训练完成；S5，在NPU环境下对训练完成模型进行推理测试，并评估其性能。本发明显著提高了模型对自然语言文本的特征提取能力，通过残差连接和交叉注意力机制的设计，确保了模型的稳定性和高效性。