一种用于术中放疗的宽基线立体视觉三维成像方法及装置

本发明提供了一种用于术中放疗的宽基线立体视觉三维成像方法及装置，包括：通过相机拍摄的棋盘格标定实现双目相机标定和图像的极线校正；根据棋盘格角点在左相机坐标系下的三维坐标和在参考点坐标系下的三维坐标建立线性方程组，通过奇异值分解算法计算得到两个三维坐标系之间的旋转矩阵和平移向量，以此实现两个坐标系下坐标的转换；使用术中放疗场景的医学光学图像和深度图像数据集训练端到端的视差估计深度学习网络，使其能够针对手术过程中双目相机拍摄的器官光学图像预测视差；宽基线双目相机拍摄的术中器官图像存在生物组织相互遮挡的情况，针对此现象使用SIFT特征提取局部特征，并根据特征向量距离评估左右图对应点的匹配度，据此筛除掉计算误差过大的视差值；计算器官三维坐标并进行坐标系转换，得到器官在参考点坐标系下的三维坐标；对器官的病灶掩膜图进行极线校正，并标记出对应的三维点。