一种实时视觉反馈控制系统

本发明公开了一种实时视觉反馈控制系统，涉及机械控制技术领域。本发明包括人体信息采集单元、环境信息采集单元、电动轮椅、辅助控制单元和主控机；人体信息采集单元为智能头显设备；智能头显设备内集成有高清摄像头和惯性测量设备；环境信息采集单元包括高清摄像头、激光雷达、超声波探头；辅助控制单元为六自由度机械臂，用于通过机械臂进行抓取；主控机用于决策电动轮椅的自主导航路径规划以及机械臂的路径跟踪。本发明通过残障人士的头部信息进行采集，采用轻量级卷积神经网络实时融合多模态信号，通过动态权重分配算法自动优化输入源优先级，预测用户意图生成机械臂的移动路径，完成对物品的取放。