一种融合视觉语言的工业物联网零件分拣方法、设备及介质

本申请公开了一种融合视觉语言的工业物联网零件分拣方法、设备及介质，涉及工业物联网领域，该方法包括：将各待分拣零件的原始图像输入至视觉编码器中，输出对应待分拣零件的视觉特征向量；将用户分拣指令输入指令编码器，输出待分拣零件的语义特征向量序列；指令编码器是利用第二训练集对预训练大语言模型进行训练得到的；对待分拣零件的语义特征向量序列和待分拣零件的视觉特征向量进行匹配，得到对应的匹配图像‑文本对；基于所述匹配图像‑文本对，生成机械臂的控制信号，机械臂根据所述控制信号完成待分拣零件的分拣。本申请能够提升零件分拣效率和零件识别能力。