基于多模态大模型理解和识别网络模因方法、系统及介质

本发明公开了基于多模态大模型理解和识别网络模因方法、系统及介质，涉及人工智能技术领域，将待处理的多模态任务输入至已训练完成的上下文示例选择模型中，输出用于提升多模态大模型上下文学习能力的上下文提示示例；上下文示例选择模型的训练过程如下：对多模态任务样本进行特征提取并模态对齐得到跨模态联合嵌入表示；利用跨模态联合嵌入表示对预设的候选样本库进行粗粒度排序，构建初始候选集；对初始候选集进行细粒度排序，基于所得到的知识提炼示例构建嵌套式提示模板，据以作为上下文提示示例引导多模态大模型执行分类推理任务；该方法显著提升多模态大模型在低资源场景下的有害内容识别精度与跨模态推理能力。