一种基于双目视觉和开放词汇的3D目标检测方法及系统

本发明公开了一种基于双目视觉和开放词汇的3D目标检测方法及系统，涉及目标检测技术领域。该方法包括：采用开放词汇2D检测模型计算每幅图像的像素特征；将左右视图的像素特征聚合到每个三维点上；基于左右视图的像素特征获取视差估计图；引入时间聚合引导视差一致性约束，以得到深度视差估计图；将深度视差估计图转换为3D点云，提取特征，得到3D特征；利用对象级图像引导检测损失、对象级交叉对比对齐和对象级自我对比学习将文本特征与2D融合特征向量、3D特征进行关联集成，以得到三维目标检测模型，实现三维目标检测，对不同目标对象进行区分。本发明可实现目标的精准检测与区分，从而提高3D目标识别的灵活性和通用性。