一种基于多模态大模型优化的文本图像理解方法

本发明公布了一种基于多模态大模型优化的文本图像理解方法，通过设计数据集与评估基准、轻量化特征恢复模块以及两阶段训练策略，增强对低质量文本图像的识别与推理能力；构建的数据集包括清晰‑低质文本图像成对样本；轻量化特征恢复模块包括：输入映射层、堆叠Transformer恢复模块、输出映射层、加和归一化层及融合层；两阶段训练策略包括视觉对齐阶段和语义对齐阶段。采用本发明提供的技术方案，能够显著提升多模态大模型在低质量文本图像条件下的识别准确率与推理稳定性，同时保持清晰图像场景下的性能不下降。