开放教育体系下基于多模态的考后违规行为判定方法

本发明实施例公开了一种开放教育体系下基于多模态的考后违规行为判定方法，包括：获取关于考后行为的训练数据集，并利用所述训练数据集对考后违规行为判定模型进行训练；利用训练好的模型对新的单图像和/或图像‑文本对进行预测，得到考后违规行为类别；其中，训练过程中将单图像样本输入Resnet网络，得到所述单图像样本的第一分类特征；将图像‑文本对样本输入CLIP网络，得到所述图像‑文本对样本的第二分类特征；将所述第一分类特征与第二分类特征进行融合，将融合后的特征输入MLP全连接层得到第三分类特征；将所述第三分类特征经过激活函数，得到输入数据的考后违规行为类别。本实施例通过多模态融合，自动识别考后违规行为。