摘要
本发明提供一种文本引导的人耳三维点云指代分割方法和系统,包括:将待分割人耳三维点云和相应的文本描述输入人耳点云指代分割模型,包括文本编码器、点云聚类模块、点云编码器和文本查询特征解码模块;文本编码器,将文本描述编码为文本特征向量L;点云聚类模块,将点云划分为不同的簇并对各簇的中心点维度变换获得点云聚类特征Fd;点云编码器,使用L和Fd引导点云特征提取,得到点云编码特征Fp';文本查询特征解码模块,通过融合查询解码器解码得到掩码初步向量Y4,并经过文本引导点云掩码输出模块对Y4进行筛选,获得与文本描述相关区域的最符合的掩码,作为最终的输出掩码。本发明可以对人耳三维点云进行指代分割。
技术关键词
文本特征向量
点云编码
文本编码器
对齐模块
查询特征
多模态特征
注意力
点云特征提取
矩阵乘法运算
解码模块
分割方法
输出模块
sigmoid函数
多层感知机
解码器
语义