一种融合多模态技术的手写签名识别方法及系统

本发明提供了手写签名识别技术领域的一种融合多模态技术的手写签名识别方法及系统，方法包括：步骤S1、获取大量的手写签名图像，对各所述手写签名图像进行预处理以及标注后构建真实数据集，对所述真实数据集执行样本扩充操作；步骤S2、获取大量的手写文档，基于各所述手写文档执行数据合成操作构建合成数据集；步骤S3、基于ConvNeXt模块以及Vi T模块创建一用于识别手写签名的手写签名识别模型；步骤S4、通过所述合成数据集对手写签名识别模型进行一阶段微调，通过所述真实数据集对手写签名识别模型进行二阶段微调；步骤S5、通过微调后的所述手写签名识别模型进行手写签名的识别。本发明的优点在于：极大的提升了手写签名识别的准确性以及鲁棒性。