基于多模态特征融合的手写数学公式动态识别方法

本发明公开一种基于多模态特征融合的手写数学公式动态识别方法，包括：步骤1、采用HSV颜色模型对数据包含的笔画轨迹序列信息进行编码转换，生成HSV伪彩色图像，再将HSV伪彩色图像与数据二值图像融合得到时序丰富图像；步骤2、通过卷积神经网络，分别对时序丰富图像以及笔画轨迹序列进行特征提取，得到图像特征和笔画特征，并利用图像特征增强笔画特征，再将图像特征与增强后的笔画特征融合后得到多模态特征；步骤3、通过解码器，采用位置编码对输入的多模态特征进行增强，再结合注意力机制和多尺度符号计数模块进行符号预测，生成数学公式符号序列；步骤4、设计规则，对生成数学公式符号序列进行修正。本发明可提升易混淆字符识别的准确性。