一种基于大模型的多模态辅助精密制造数据库交互方法

本发明属于辅助精密制造技术领域，公开了一种基于大模型的多模态辅助精密制造数据库交互方法，包括：获取精密制造生产场景的监控视频和用户查询；将用户查询改写为新查询；根据新查询，在精密制造数据库进行schema检索，得到schema集合；对监控视频和新查询进行特征提取，并对生产场景视频特征向量、生产场景音频特征向量以及用户查询文本特征向量进行多模态融合，得到融合特征向量；利用融合特征向量对外部向量数据库进行检索，得到检索结果文档集合；根据新查询及检索结果文档集合，构建SQL语句生成提示词；将SQL语句生成提示词输入大模型中，生成SQL语句；将SQL语句放入精密制造数据库中进行运行，输出最终检索结果。