一种用于证件OCR任务的多模态大模型训练方法

本发明公开一种用于证件OCR任务的多模态大模型训练方法，该方法包括：通过少量已标注样本对多模态大模型进行微调；通过剩余已标注样本对多模态大模型进行强化学习训练，直至多模态大模型在验证集上的识别精度达到设定标准，完成多模态大模型的训练；样本标注的标签为证件图像中关键字段的结构化输出。通过将长文本任务拆解为字段级别的反馈与优化，结合组内比较生成相对优势，从而实现稀疏环境下的有效学习，这种方法在保证输出格式规范性的同时，大幅提升了模型对复杂证件内容的识别准确率，并展现出良好的泛化能力和推理水平，且能够在减少人工标注工作量的情况下，训练出性能卓越的用于证件OCR任务的多模态大模型，具有广阔的应用前景。