摘要
本发明涉及渐进成形技术领域,涉及基于多模态大模型的工业机器人双点渐进成形方法及系统,其中方法包括:获取双点渐进成形过程中主成形机器人与辅助成形机器人的多模态数据;基于多模态数据,得到关节刚度系数;基于源点云数据和目标点云数据,得到配准后的点云数据;基于六维成形力值数据、数据源点云数据和对成形场景的文本描述数据,得到描述文本与初步补偿值;基于配准后的点云数据、关节刚度系数、描述文本与初步补偿值,得到预测补偿值;根据预测补偿值,完成待加工板材的成形过程。本发明通过引入视觉等多维的数据输入,通过引入多模态大模型作为训练模型,提高了双点渐进成形的补偿精度。
技术关键词
深度学习模型
渐进成形方法
多层感知机
工业机器人
补偿值
多模态
数据
传感器编码器
K近邻算法
机器人位姿
文本
点云
语言编码器
刚度
分支
机械臂坐标系
关节