基于跨模态对齐的弱监督扒渣终点判断方法和系统

本发明公开一种基于跨模态对齐的弱监督扒渣终点判断方法和系统，包括：接入当前扒渣现场摄像头，将实时视频流数据输入训练完成的视频数据处理器；视频数据处理器以每一当前帧为基准，将包括当前帧在内向前共若干帧数据进行切割打包，输出当前帧的实时视频片段，作为训练完成的跨模态特征提取器的视频模态输入，同时以当前钢种文本编号和“非终点”文本作为跨模态特征提取器的文本模态输入；跨模态特征提取器提取视频片段特征和文本特征，将提取的视频片段特征和文本特征输入特征比对决策模块进行特征比对，最终输出当前帧是否为对应当前钢种扒渣终点的判断结果。本发明可以对扒渣终点进行准确判断。