摘要
本发明涉及一种基于多模态信息融合的电子凭证分类方法,包括以下步骤:采集电子凭证的图像数据并进行预处理后构建为电子凭证图像数据集;提取电子凭证图像数据集中的文字数据并进行预处理后构建为电子凭证文字数据集;构建电子凭证图像特征提取模型,将电子凭证图像数据集输入电子凭证图像特征提取模型得到电子凭证图像特征集;构建电子凭证文字特征提取模型,将电子凭证文字数据集输入电子凭证文字特征提取模型得到电子凭证文字特征集;将电子凭证图像特征集以及电子凭证文字特征集进行拼接后得到电子凭证融合特征集;构建电子凭证分类模型,基于电子凭证融合特征集对电子凭证分类模型进行训练,通过训练完成的电子凭证分类模型进行分类。
技术关键词
凭证分类
多模态信息融合
图像特征集
图像特征提取模型
文字特征
融合特征
数据
网络
多层感知机
生成电子凭证
注意力
全局平均池化
通道
尺寸
模块
样本