基于OCR技术的多模态证件信息协同识别方法及系统

本发明公开了基于OCR技术的多模态证件信息协同识别方法及系统，所述方法包括：获取证件图像信息；通过检测模型检测证件图像信息中的MRZ码和二维码的特征信息；通过分类模型对MRZ码和二维码的特征信息进行分类，输出MRZ码和二维码的数据图像；通过识别模型分别进行MRZ码识别和二维码识别，输出基于位置与识别文本的证件图像文本识别结果。通过多码协同方式实现二维码、MRZ码及文字的同步检测与分类，减少处理步骤，进而提升效率；基于重构损失函数，引入类别权重与边界框回归约束，显著提升多目标检测精度；基于设计专用图像采集与处理模块进而适配复杂成像环境。