一种基于市场数据监管的多模态处理方法

本发明公开了一种基于市场数据监管的多模态处理方法，包括采集市场监管的文本、图像、语音和视频四种模态的数据信息为基础；将基础信息通过数据预处理和数据对齐同步后构建多模态交互数据集；构建序列化分词器对多模态数据进行分词序列化和特征提取；针对多模态构建多对一的共享特征空间并利用冻结参数的编码器提取多模态高级语义特征；根据下游场景设定任务头从而完成指定的分类和监测等任务；根据任务场景输出多模态数据处理结果。本发明能够充分利用多模态数据间的关联性和互补性，通过模态共享编码和指定任务头能够实现市场监管多任务场景下的多模态数据联合分析与处理，为监管业务提供决策支持，提高了监管效率和准确性。