一种基于大模型微调的中文语法纠错方法、系统

本发明涉及一种基于大模型微调的中文语法纠错方法、系统。该方法使用Qwen2‑7B模型生成纠错指令数据集；依据复杂度、质量和多样性对指令数据集进行筛选；采用LORA方法对Qwen2‑7B模型进行监督式微调，重点优化自注意力层和前馈网络层，以增强模型对长距离依赖和上下文信息的处理能力；然后使用Qwen2‑72B模型对纠错数据集进行评分，生成偏好标签，并利用这些标签进一步优化Qwen2‑7B模型，从而提升其响应质量；使用直接偏好优化方法，结合偏好数据集对模型进行训练，调整参数以最小化损失函数，从而增强模型对偏好响应的倾向性。该方法通过多层次的优化策略，有效提高了中文语法纠错的准确性。