一种基于视觉和触觉信息融合的机器人抓握识别方法和系统

本发明公开了一种基于视觉和触觉信息融合的机器人抓握识别方法和系统，包含以下步骤：步骤S1：触觉信号预处理；将每个触觉传感器获取的数据整合成四维张量，构建成基础触觉快照序列，步骤S2：触觉信号编码；采用由CNN、LSTM和Transformer Encoder组成的三层级编码网络对触觉信息进行编码，步骤S3：视觉信号预处理及编码；步骤S4：跨模态对齐；步骤S5：大模型推理。本发明开发了一套结合视觉特征和触觉特征的机器人抓取对象识别方法和系统，基于视觉信息和触觉信息对机器人的抓取对象进行理解与分析，能提高机器人动作的准确性和任务的完整性。