一种基于多模态图文融合的市场违规行为检测方法

本发明公开了一种基于多模态图文融合的市场违规行为检测方法，包括获取市场业务的文本和图像数据以及市场违规信息为基础；将基础信息通过预处理构建市场业务违规检测数据集；分别提取数据的文本特征Ft和图像特征Fi；通过混合注意力机制的特征增强器，对文本和图像的特征进行特征自增强和跨模态交替增强，得到增强文本特征Ft’和增强图像特征Fi’；将原始特征和增强特征输入特征融合器，通过中间融合和加权融合方法实现Ft、Fi、Ft’和Fi’的特征融合，得到最终的融合特征Ff；将融合特征输入下游的违规行为检测器进行检测，输出检测结果。本发明能充分利用文本和图像的关联性，实现模态内和模态间特征的关联增强和融合，更加准确地判断和检测市场业务中交易、注册、记录等信息存在的违规行为。