基于CAD模板驱动RAG的跨模态跨视角实例6-DoF位姿估计系统及方法

本发明涉及一种基于CAD模板驱动RAG的跨模态跨视角实例6‑DoF位姿估计系统及方法，该系统包括：CAD知识库用于存储整合有坐标信息和颜色信息的CAD点视觉实例特征；2D‑3D检索单元用于接收查询图像后从中提取全局特征和图像特征，以及从CAD知识库中检索得到CAD模型特征，并采用注意力机制和PointNet处理得到检索特征；2D‑3D融合单元根据检索特征和图像特征，通过解码得到查询特征，并采用自监督对比学习，提取CAD模型的3D表面特征，结合查询特征和3D表面特征，基于PnP‑RANSAC算法进行位姿估计。与现有技术相比，本发明通过引入结构化CAD知识库和检索增强生成技术，能够有效缓解“幻觉”错误，解决弱纹理、遮挡和新视角场景下的位姿估计难题，提高从RGB图像中进行6D位姿估计的准确性。