摘要
本发明一种基于掩码自编码器与对比学习的点云模型预训练方法,包括以下步骤:基于预处理后的点云与图像数据,生成点云嵌入标记块与图像嵌入标记块并进行掩码对齐,得到掩码对齐后的点云标记块与图像标记块;基于掩码对齐后的点云标记块采用点云Transformer编码器进行特征提取,基于掩码对齐后的图像标记块采用图像Transformer编码器进行特征提取;基于提取后的点云特征与图像特征,通过点云特征预测与点云掩码重建任务来进行自监督预训练,得到预训练好的点云Transformer编码器;将预训练好的点云Tranformer编码器在下游三维物体分类任务中进行微调,得到微调后的Transformer编码器;将测试集数据输入到微调后的点云Transformer编码器中,实现对点云中目标物体进行种类分类。
技术关键词
预训练方法
编码器
图像嵌入
标记
点云特征
数据
K近邻算法
视角
解码器
物体
矩阵
分块
跨模态
深度图
像素
坐标
摄像机
参数