基于多模态深度学习的帕金森病患智能辅助进食系统

本发明公开一种基于多模态深度学习的帕金森病患智能辅助进食系统，图像采集单元用于采集食物所在的桌面图像、用户脸部图像；语音交互单元用于采集并识别用户的语音指令信息；机械执行单元用于拿取目标食物，并将目标食物输送至用户嘴部；处理器用于接收语音指令信息，控制图像采集单元采集桌面图像并进行处理，识别出目标食物，同时规划出目标食物的拿取路径，然后控制机械执行单元按照拿取路径拿取目标食物到预定位置，再控制图像采集单元采集用户脸部图像，并对用户脸部图像进行处理，识别嘴部的开合状态，同时识别出张嘴时刻对应的用户头部位姿，最后根据用户头部位姿，微调机械执行单元的末端位置，确保目标食物顺利送入用户嘴里。