摘要
本发明公开了一种基于多模态特征的图纸数据提取方法,包括以下步骤:S1、多模态数据输入及预处理:接收多模态数据,并对多模态数据进行预处理;S2、多模态特征提取:针对每个模态的数据,进行特征提取,分别生成各个模态的256维度的特征向量;S3、特征融合与对齐:将从不同模态特征生成器生成的特征进行多通道融合和特征对齐;S4、图纸数据检测模型训练:利用标注的正常样本数据,使用多模态自编码器模型,进行模型训练;S5、图纸数据提取:将一个新的多模态数据输入到多个特征生成器生成多模态特征,融合生成C*256特征矩阵,再将C*256特征矩阵输入到训练好的多模态自编码器,进行数据提取。
技术关键词
重构误差
数据提取方法
多模态特征
连续型数据
图纸
矩阵
检测模型训练
文本特征向量
图像特征向量
编码器训练
数据采集系统
信号