一种基于三模态融合专家模型的社交媒体流行度预测方法

本发明提出一种基于三模态融合专家模型的社交媒体流行度预测方法，属于多模态人工智能领域。包括如下步骤：对结构化数据、文本数据和图像数据进行预处理，获得三个模态的数据表征，以进行下一阶段的预训练。利用三个模态的数据表征，基于混合多模态专家Transformer模型采用TTME预训练框架进行模型预训练，TTME预训练框架包括图像‑文本结构化特征对比学习、图像‑文本结构化特征匹配和遮盖文本结构化特征预测建模。在TTME预训练框架的基础上引入TTME微调架构，让模型在具体的流行度预测任务上进行领域适应，输出社交媒体流行度。本发明通过AIGC数据处理、多模态多任务预训练、Distillation Softmax微调，有效提高了多模态数据之间的交互以及流行度预测准确性。