一种基于多模态的文档内容匹配方法及系统

本发明公开了一种基于多模态的文档内容匹配方法及系统，包括获取待识别图像并对待识别图像进行预处理；对预处理的待识别图像进行图片方向矫正，得到矫正图像；对矫正图像进行OCR文字识别并标记文本框；基于文本框对矫正图像进行文本方向矫正，得到矫正文本；基于矫正文本进行多模态文档信息抽取，并对抽取的多模态文档信息进行模态互补增强处理；将处理后的多模态文档信息进行信息匹配并返回匹配结果。本发明通过对多模态的文本内容、文本位置等多种数据源特征进行深度特征融合、跨模态关联、模态互补性增强、泛化能力及效率等方面的改进，显著提升了多模态文档信息抽取及文档内容匹配的准确性和实用性。