摘要
本发明公开了一种基于层级式语义编码的电子皮肤触觉感知特征提取方法,包含以下步骤:步骤S1:电子皮肤信号采集;在机器人手部或指尖粘贴高密度柔性电子皮肤,步骤S2:触觉信号预处理;通过多模态数据同步机制将触觉信号与图像信号以及语音信号在时间上进行对齐处理,步骤S3:触觉信号多层级语义编码;步骤S4:跨模态映射;本发明提出层级式语义编码器,将触觉信号逐级抽象为具备可解释性的高维语义向量,实现人类般触觉理解,提取的触觉特征支持多模态对齐与嵌入共享空间,可与CLIP/VLM类模型原生协作,打破模态壁垒,触觉信息特征提取方法具备强泛化性、适配性,可直接应用于视觉‑语言‑触觉多模态信息融合的大模型,实现实时训练与决策。
技术关键词
语义向量
特征提取方法
柔性电子皮肤
触觉特征
语音
机器人手部
样本
三元组
图像
触觉信息
信号
多模态信息融合
语义标签
层级
事件触发机制
数据同步
网络
跨模态
系统为您推荐了相关专利信息
钢管无损检测系统
门控循环单元
数据分析模块
特征提取单元
注意力机制
语音引导系统
多模态交互
语句
停车位
语音文本处理