一种基于机器视觉的全自动嘴部跟随的助餐方法及系统

本发明实施例提供一种基于机器视觉的全自动嘴部跟随的助餐方法及系统，属于进食辅助机械臂人机交互技术领域。助餐方法包括：根据机械臂和深度相机的位置关系建立机械臂基坐标系；获取人脸二维图像；基于改进直接线性变换算法获取人脸二维图像的关键点的嘴部位姿；根据嘴部位姿判断是否满足取食条件；在判断满足取食条件的情况下，机械臂根据示教学习获取取食轨迹以进行取食操作；判断机械臂是否完成取食操作；在判断机械臂完成取食操作的情况下，更新嘴部位姿并根据嘴部位姿获取送餐轨迹；机械臂根据送餐轨迹执行送餐操作。本发明通过改进直接线性变换算法获取嘴部位姿提高检测精度和鲁棒性，根据实时嘴部姿位生成取食轨迹提高取食精确性。