内镜与虚拟现实设备交互系统

本发明提供了一种内镜与虚拟现实设备交互系统。系统包括：内镜，配置有双目摄像头，用于基于双目摄像头在消化道内采集二维原始影像数据；数据处理设备，用于基于深度学习算法和光流法对二维原始影像数据进行处理，确定消化道的三维影像模型，三维影像模型标记有包括粘膜层、血管网、肌层在内的不同组织层次，并标记有病灶浸润范围；以及用于基于三维影像模型，对二维原始影像数据进行针对组织层次以及病灶浸润范围的二维标注，得到二维标注影像数据；虚拟现实设备，包括佩戴于操作者的第一显示端，用于显示二维标注影像数据。本发明提供的内镜与虚拟现实设备交互系统能够实现消化道高精度建模以及实现基于虚拟现实设备的实感观测。