一种基于对比监督和跨阶段蒸馏的通用信息抽取方法

本发明提供一种基于对比监督和跨阶段蒸馏的通用信息抽取方法，包括选择经过预训练的模型作为基座模型并进行初始化；为所述基座模型的权重矩阵初始化第一低秩分解矩阵和第二低秩分解矩阵；训练所述第一低秩分解矩阵和所述第二低秩分解矩阵；将所述基座模型的权重、所述第一低秩分解矩阵和所述第二低秩分解矩阵进行合并，得到推理模型；将自然语言文本信息输入到所述推理模型中；通过自然语言指令指定任务类型和输出格式，输出结构化信息抽取结果。本发明的有益效果是通过分阶段训练LoRA矩阵并复合参数，保留辅助任务知识的同时学习目标任务，显著减少跨阶段知识迁移的损失；自然语言指令驱动同一模型处理不同任务，无需切换模型架构。