摘要
本发明涉及一种接触点动态预测及优化方法、系统、设备及介质,其中,所述的方法包括:提取文本特征、视觉特征,并获取深度图并将深度图转换为3D点云;将所述的文本特征与所述的视觉特征进行多模态对齐,基于多模态对齐结果赋予优先级提示;构建3D价值地图并初始化;生成视觉遮罩,并基于该视觉遮罩对初始化后的3D价值地图进行再处理;基于再处理后的3D价值地图选取当前最佳接触点,并获取当前最佳接触点的执行状态,根据执行状态对3D价值地图进行实时优化。所述的系统、设备及介质用于实现上述的方法。与现有技术相比,本发明提高了机器人操作的灵活性与精度。
技术关键词
接触点
文本
多模态
视觉特征提取
深度图
数据采集模块
特征提取单元
动态
图像
3D点云
网格
地图模块
注意力机制
机器人
像素
处理器
指令
系统为您推荐了相关专利信息
异常检测方法
多模态
深度网络模型
编码器
交叉注意力机制
运动特征
语义特征提取
多模态特征融合
融合特征
编码特征
需求响应方法
编码向量
决策
非易失性计算机存储介质
计算机可执行指令