摘要
本发明提供一种基于鱼眼视觉与SEEM‑YOLO级联架构的动态库位状态监测方法,包括使用鱼眼相机拍摄库位场景内的图像;对采集的图像进行去畸变矫正和去噪处理;利用基于改进CSPDarknet骨干网络的YOLOv8模型对处理后的图像提取多尺度特征并实时检测,输出库位边界框及状态标签;基于SEEM模型生成感兴趣区域ROI,通过多模态提示实现像素级掩码分割,支持零样本学习以适应新型库位布局或未知异常目标;将分割结果及库位状态信息传输至工控机,由工控机将库位信息写入仓储管理系统的数据库,以实现动态库位状态监测。本发明通过融合鱼眼相机的广角视觉优势与深度学习模型的精准识别能力,实现库位状态的实时精准识别与动态管理,从而提升库位管理效率,最大化空间利用率。
技术关键词
鱼眼相机
生成感兴趣区域
文本特征向量
状态监测方法
图像
工控机
多尺度特征
仓储管理系统
非局部均值去噪算法
坐标
输出特征
矫正
融合多模态特征
Sigmoid函数
sigmoid函数
加权欧氏距离
编码
视觉特征
特征金字塔网络
交叉注意力机制