基于多模态大模型的术中信息提取方法和手术引导系统

本发明属于图像信息处理技术领域，提供了基于多模态大模型的术中信息提取方法和手术引导系统。基于多模态大模型的术中信息提取方法和手术引导系统包括步骤1，数据获取模块获取外部医学数据，用于构建医学向量知识库；步骤2，监测模块获取内窥镜图像和手术预案，给出手术指令引导，并监测当前的手术进程与手术预案是否相同；步骤3：检索模块根据医生提出的问题，从医学向量知识库中进行检索，生成上下文信息；本申请所提供的技术方案中，检索模块从中提取到与手术过程相关的关键信息，然后将其整理为针对医生手术的融合信息，从而让医生在手术过程中具有相关的参考信息。