一种基于多模态识别的智能垃圾分拣方法及系统

本发明涉及一种基于多模态识别的智能垃圾分拣方法，包括以下步骤：S1:捕捉输送带上物体的三维形状信息和材质信息；S2:对采集的图像数据和传感器数据进行预处理；S3:基于预处理后的图像数据和传感器数据，基于HybridNet模型生成统一的边界框与分类结果；S4:基于HybridNet模型输出的边界框与分类结果，采用离散PID算法计算运动指令，并利用深度传感器计算物体的三维点云数据，判断物体所在位置的堆叠层数，优先抓取表层物体，生成基于位置误差和堆叠优先级的初始抓取路径；S5:基于初始抓取路径，运用DQN深度强化学习优化初始抓取路径为最优抓取路径。本发明有效解决机器人在动态环境（如堆叠与障碍物干扰）中的抓取优化问题。