证照抽取场景的多模态大模型幻觉抑制方法及系统

本发明公开了证照抽取场景的多模态大模型幻觉抑制方法及系统。方法包括：获取证件图像并区分清晰图片和模糊图片；对清晰图片及模糊图片进行标注，以得到微调数据集；选择基础模型，并采用微调数据集进行自适应微调，以得到微调后的多模态大模型；利用微调后的多模态大模型对清晰图片和模糊图片结合双模态标签体系和分域DPO数据集生成训练数据集；采用混合偏好训练机制结合训练数据集对微调后的多模态大模型训练，以得到训练后的多模态大模型；将训练后的多模态大模型运用于证件图像的抽取中。通过实施本发明的方法可实现在保持预训练模型参数高效性的前提下，显著降低证件信息抽取过程中的幻觉发生概率，同时提升复杂场景下的字段识别鲁棒性。