腔镜图像下手术机器人器械的语义分割与位姿估计方法及系统

腔镜图像下手术机器人器械的语义分割与位姿估计方法及系统，涉及计算机视觉领域。本发明是为了解决现有的手术机器人器械的语义分割与位姿估计方法存在误差率较大，实时性及泛化性较差，且较少考虑时序信息的约束作用，难以满足精确手术操作的需求等问题。技术要点：骨干网络用于提取内窥镜原始图像的多尺度信息，特征编码模块从骨干网络中提取的特征中聚合出经过编码的特征，包含图像在不同抽象级别的图像局部特征信息；语义分割解码器用于从图像特征图中生成分割图像，分割图像为位姿估计解码器提供隐式几何约束；位姿估计解码器基于语义分割结果提供的几何约束，从特征图中回归出手术器械的腕部、杆部相对摄像机的位置和姿态参数，及器械末端的开合角度；使用时间序列模块，构建时序数据缓存队列用于连续帧分析，降低帧间抖动，提高位姿估计与末端开合角度估计算法的精度。