一种基于SAM 2的视频概念解释方法

本发明公开一种基于SAM 2的视频概念解释方法，该方法主要包括如下步骤：针对所要进行的目标任务，定义若干语义类别，并获取各语义类别相应的语义分割数据集及提示符，利用每个语义类别对应的提示符和语义分割数据集训练提示生成模型；利用训练后的提示生成模型为待解释视频中的每帧图像生成相应提示符，逐帧提取待解释视频的特征，将每帧图像的提示符和特征一并输入至SAM 2模型，得到时空概念集；将每个时空概念视为博弈中的参与者，利用视频分类模型对待解释视频进行分类，并基于待解释模型的预测类别，计算每个时空概念的夏普利值，从而生成对视频数据的最优时空概念解释，对3D神经网络模型的预测结果进行高质量的概念解释。