基于LoRA的注意力对齐微调方法、装置、设备及介质

本申请涉及人工智能及深度学习技术领域，提出了一种基于LoRA的注意力对齐微调方法、装置、设备及介质，该方法包括：获取已训练的初始预训练模型；冻结所述初始预训练模型的参数，并在所述预训练模型的每层设置LoRA模型，得到中间预训练模型；在所述中间预训练模型上加入注意力机制，得到最终预训练模型，其中，所述注意力机制的参数可训练；获取第一数据集，并使用所述第一数据集对所述最终预训练模型进行微调，得到微调后的目标模型。通过本申请的技术方案，加快卷积神经网络的微调速度，不增加推理时的计算量，微调时训练参数少，占用GPU内存少，训练速度加快。