图像文本特征对齐融合的信息抽取方法、设备及程序产品

本发明提供一种图像文本特征对齐融合的信息抽取方法、设备及程序产品，方法包括：将目标图像输入图像特征提取模型得到图像特征；检测识别目标图像中的文本块，得到文本块识别结果；将文本块识别结果输入文本特征提取模型，得到文本特征；基于文本块识别结果构建文本块特征，将文本特征与图像特征桥接对齐；将文本特征和图像特征输入特征融合模型进行拼接，得到综合特征向量；特征融合模型包括自编码器和变压器编码器；将综合特征向量分类输入预设分类器，执行语义实体识别任务，确定文本块对应的分类结果，基于分类结果，执行关系抽取任务；能够解决在处理含有复杂背景和多元素的图像时，信息提取不准确的问题。