一种面向信息合规性治理的多模态知识表示方法

本发明涉及一种面向信息合规性治理的多模态知识表示方法。首先对视觉模态特征进行提取，考虑卷积方式提取图片遇到的效率问题，使用无卷积的图像切分方法对图像进行标准化与切分，后通过投影获取图像数据特征；再通过KeyBert模型从长文本中提取主题词，用MacBert对文本进行编码，并通过文本中蕴含的主题词的位置信息对原文本进行语义代换，结合原文本的类型特征得到文本模态特征；最终使用BiLSTM‑Attention模型对两种模态特征进行多模态融合，实现对政务领域信息的语义表示。本发明能够提升视觉模态特征提取时的效率，实现面向长文本数据的文本模态特征提取，并通过融合模型完成对政务领域信息的有效表示，以进一步对政务信息加以甄别。