基于多模态感知数据融合的实验室试剂瓶视觉识别方法与系统

本发明公开了一种基于多模态感知数据融合的实验室试剂瓶视觉识别方法与系统。所述视觉识别方法包括在操作试剂瓶的机械臂上设计并构建多模态感知模块、多模态数据融合、采用基于卷积神经网络和图像分割技术的深度学习视觉识别模块进行试剂瓶的种类识别和标签信息提取等步骤。多种传感器的数据通过时间与空间坐标的对齐及同步处理，以形成同一时间点的完整环境感知数据；数据融合过程中，采用卡尔曼滤波与粒子滤波相结合的方法对所述多种传感器的测量误差进行校正。深度学习视觉识别模块采用了引入多尺度注意力机制的多层卷积网络模型。本发明通过集成多种传感器数据、采用深度学习算法，实现对试剂瓶的精准识别。