一种基于元提示和知识驱动的小样本鼓膜图像识别方法

本申请提供了一种基于元提示和知识驱动的小样本鼓膜图像识别方法，先将小样本训练集输入初始多模态预训练模型，获得预测类别并将其与真实类别进行比对，同时结合置信度筛选误分类样本以此构建元任务集。接着将元任务集输入初级诊断模型，输出初步诊断报告。然后利用知识精炼模型基于初步诊断报告对医学描述文本样本进行优化，替换原文本样本，从而获得更新样本。最后使用更新样本迭代训练初始多模态预训练模型直至满足终止条件。本方法构建了一个由初级诊断模型和知识精炼模型组成的闭环优化系统。在小样本条件下，该系统利用模型自身产生的错误样本，动态优化模型的视觉‑语义理解能力，有效提高了小样本鼓膜图像识别的准确率。