摘要
本发明提供一种基于虚拟标记追踪与器械位姿的手术操作力反馈引导方法、系统、存储介质和电子设备,涉及医疗器械领域。本发明中,对体内场景进行实时三维点云重建,基于关键帧引导的虚拟标记动态追踪方法,追踪医生在首个图像帧上标注的手术路径,并基于实时三维点云获取三维手术路径,结合基于3D高斯追踪的手术器械6D位姿方法,最终建立沿着动态的三维手术路径的引导型虚拟夹具,以通过力反馈机制有效帮助医生沿着预先设定的手术路径完成手术,实现符合医生操控意图的人机共融操控。
技术关键词
关键帧
手术器械
图像
动态追踪方法
深度图
力反馈机制
手术机器人系统
标记
学习器械
掩膜
重构
顶点
像素点
估计方法
传播算法
双目深度估计
相机