一种基于多模态大模型小样本开集新能源电站巡检方法

本发明公开一种基于多模态大模型小样本开集新能源电站巡检方法，该方法构建了多元文本可学习提示，通过聚合任务相关的文本信息，引导检测模型形成更细粒度的类别决策边界。由于在训练的过程中缺少真正的未知类样本，该方法首次将未知类伪样本的挖掘看成一个二分图匹配任务，通过增设未知类虚拟节点，构建成本矩阵，挖掘未知类伪样本，进而优化模型形成紧凑的未知类决策边界。针对小样本已知类和未知类易发生混淆的问题，该方法提出基于成本感知的未知类优化损失，考虑未知类分类和定位质量，提升模型的开集检测性能。该方法实现了从单模态视觉小模型到多模态视觉大模型的转变，只需要少量训练数据，就可获得较好的广义小样本开集目标检测性能。