基于多模态采集与语义标注的手写数学公式数据集构建方法及系统

本发明属于计算机视觉与教育技术领域，公开了基于多模态采集与语义标注的手写数学公式数据集构建方法及系统，包括步骤1：基于数字化笔采集手写数学公式：自动化生成结构合理的数学公式，为后续手写采集提供标准化输入；步骤2：构建基于符号图引导生成端到端手写数学公式的模型HMEG：通过多阶段生成对抗网络MSF‑Gan，自动合成高质量手写数学公式图像，作为人工采集数据的补充，降低标注成本并增强数据多样性。本发明的构建数据集方式能够快速高效地生成可靠数据。本发明通过先进的技术和算法解决了这些问题，实现了基于多模态采集与语义标注的手写数学公式数据集构建方法及系统，为手写公式识别模型的训练提供了强大的支持。