一种机器视觉与大语言模型结合的制造车间虚实融合安全培训方法

本发明提出一种机器视觉与大语言模型结合的制造车间虚实融合安全培训方法，该方法包括增强现实(AR)环境下的生产设备的虚实融合培训模块、基于机器视觉的生产设备语义理解模块、知识图谱与大语言模型结合的人机智能对话模块、培训数据库。用户通过AR设备的摄像头拍摄制造车间中的生产场景，经语义理解模块分割出场景中含有设备；从数据库中匹配出对应的三维模型以及对应的信息，并在AR环境中加载，并将匹配到的设备信息作为大语言模型的输入；培训人员通过虚实融合培训模块按照培训信息的提示完成认知与操作等内容的培训；在培训过程中，人机智能对话模块根据设备信息和用户问题为培训人员提供通过自然语言问答和动态三维反馈，提升培训效果。