基于思维链引导的多模态有害信息检测方法

本发明公开了基于思维链引导的多模态有害信息检测方法，包括以下步骤：收集模因数据，所述模因为由图像和伴随的文本组成的多模态数据；利用多模态融合特征对模因进行聚类，并抽取距离聚类中心最近的代表性模因输入至多模态大模型；应用思维链推理方法，得到每一类模因的高区分度的特异性关键点；设计不同类模因的语义抽取和检测模型，将模因按类输入不同检测模型进行模型训练；在测试时，使用基于特异性关键点的多模态大模型调度器，用于判断模因归属类型，从而调度相应类的检测模型，输出模因有害性的概率。本申请解决了类型特异性对模因信息提取的影响；充分发挥了思维链的推理能力与大模型的规划能力。