一种基于多模态深度学习的智能文字识别与结构化处理方法

本发明公开了一种基于多模态深度学习的智能文字识别与结构化处理方法，属于文字识别技术领域，包括以下步骤：步骤1，接收用户上传的图像，进行文字主体区域检测，提取包含文字的主体区域图像；步骤2，对图像进行预处理；步骤3，采用YOLOv8模型对预处理后图像进行文字目标检测，定位文本区域；步骤4，使用CRNN模型对检测到的文字区域进行识别，输出文本内容；步骤5，对识别结果进行版面分析，确定文本的阅读顺序和逻辑结构；步骤6，使用自然语言模型，结合文本内容和坐标信息，对识别结果进行结构化输出。将营业执照、许可证等多任务到一个模型，解决了现有技术中多模型的问题，资源利用率高识别精度高。