一种面向人形机器人灵巧手的自主操作训练系统及方法

本发明公开了一种面向人形机器人灵巧手的自主操作训练系统及方法，其中，该系统包括：图像采集单元、位姿估计网络单元、仿人灵巧手结构、微控制单元、主机、特征融合与提取网络单元、自主策略网络单元和PD控制器；其中，主机接收电压数字信号，将电压数字信号以预设阈值进行二值化处理后得到压力传感信息；特征融合与提取网络单元接收姿态信息、压力传感信息和关节角度信息，将姿态信息、压力传感信息和关节角度信息进行特征融合得到全局感知时空特征；自主策略网络单元接收全局感知时空特征，根据全局感知时空特征得到最优动作序列。本发明解决了关节角度、物体位姿的关键模态信息缺失情况下的灵巧手鲁棒智能控制难题。