摘要
本发明提供一种多任务场景下人手动作重定向至异构机器手的方法及装置,涉及机器人技术与智能控制技术领域。该方法包括:获取视觉数据和触觉数据;采用预训练好的Perceiver IO模型进行任务类型分类,获得任务类型编码;根据物理约束动态修正机制,修正机器手指的关节权重,获得归一化后的手指权重;对人手部进行关键点提取,通过几何向量法计算人手各个关节之间的向量;根据建立的关节映射矩阵进行从动关节约束处理,计算适配后的雅可比矩阵,获得适配后的标准化的机器手运动学模型;对人手指间和机器手指间的向量进行非线性优化,获得机器手的各关节角度,使机器手完成动作重定向。采用本发明可提升跨任务与异构机型的泛化能力。
技术关键词
人手部区域
多任务
修正机器
机器人结构
异构
雅可比矩阵
计算机可读取存储介质
逆向运动学
机器手
正向运动学
场景
手部关键点
视觉
计算机可读指令
指关节
模态特征
非线性
系统为您推荐了相关专利信息
可视化管理系统
数字孪生模型
设备健康状态
三维交互场景
集群
智能医疗辅助诊断系统
分类准确率
文本
交叉验证法
大数据
事理知识图谱
数据治理方法
冶金生产流程
工业网关
异常状态
异构编译优化方法
层次结构数据
网格
样本
神经网络模型
文本分析方法
综合语义
语义向量
大语言模型
预训练语言模型