一种基于自监督多模态融合的社会事件检测方法

本发明公开一种基于自监督多模态融合的社会事件检测方法，包括数据采集，从各类社交媒体平台，收集包含文本和图像的多模态数据并预处理；自监督训练，使用SNN作为训练网络；多模态大语言模型增强模块和事件编码器Ⅰ构成教师模型，接收预处理后的文本和图像作为输入，将输入编码为事件特征；事件编码器Ⅱ和预测器构成学生模型，将事件特征映射到一个新的向量空间表示为，与教师模型的输出构成对比学习的正样本对；事件检测，将原始文本和图像输入到学生模型中，获取事件的潜在空间表示，然后进行聚类，得到社会事件检测结果。本发明聚焦于开放世界多模态社会事件检测领域，旨在攻克传统方法的局限，利用创新技术实现更高效、准确的事件检测。