一种基于多模态数据融合的多层级分类方法及系统

本发明公开了一种基于多模态数据融合的多层级分类方法及系统，属于大数据分析与智能信息处理领域。本发明包括：基于多模态数据预处理模块对图像、文本和表格数据清洗；基于多模态特征提取和向量化模块分别对图像、文本和表格进行特征提取和结构化向量表示；基于自注意力机制多模态特征融合模块对图像特征、文本特征和表格特征进行融合；基于多层级分类框架构建与训练模块构建多层级分类框架并进行层级分类训练；基于模型测试与评估模块对多层级分类结果进行测试评估并输出显示。本发明在充分挖掘并融合各模态数据信息的基础上，对多层级复杂分类场景，给出精准、细化的分类方案，在粗粒度分类的基础上细化分类结果，满足实际应用中的精细分类。