摘要
本发明公开了基于记忆池和模态感知专家系统的不完整多模态危机事件检测方法,涉及机器学习领域,具体包括:基于记忆池构建与事件实例强相关的提示,并利用大模型补全缺失模态;利用CNN、ResNet以及CLIP编码器构建双流编码器,实现文本与视觉特征提取;捕获细粒度的事件信息与线索;基于模态感知专家系统识别补全样本与完整样本之间的分布差异,提高融合表示的质量;将混合特征输入分类头中,完成危机事件检测任务。本发明通过基于记忆池的提示构建模块,引入大模型实现缺失模态的细致补全,并基于模态感知专家系统准确识别补全样本与完整样本之间的分布差异,能够有效应对多模态数据缺失场景,提升危机事件检测的准确性和时效性。
技术关键词
事件检测方法
专家系统
多模态
记忆
视觉特征提取
样本
文本编码器
数据缺失场景
关键词
并行编码器
线性变换矩阵
多头注意力机制
输出特征
线索
图像编码器