多模融合与结构化知识驱动的复杂文件理解方法及系统

本发明公开了一种多模融合与结构化知识驱动的复杂文件理解方法及系统，该方法包括：针对复杂文件提取多模态特征；在高维语义空间映射多模态特征，构建结构化语义数据；采用领域知识库检索结构化语义数据的背景信息；基于结构化语义数据及对应的背景信息，生成目标文件。从而，通过多模态特征提取与跨模态注意力对齐机制，对多模态数据实现有效提取，进而在高维语义空间实现语义对齐与自适应权重分配，确保多模态信息一致性，消除语义断层与信息冲突，辅以结构化知识驱动，大幅增强对专业术语、隐含逻辑与上下文关联内容的解析能力，输出质量高，可针对于不同应用场景准确输出，适用范围广。