摘要
本发明涉及工地违规行为检测领域,具体公开一种工地违规行为检测管理方法、系统、终端及介质,构建图谱知识库和图文向量库;使用预先训练的目标检测模型对待测图像进行处理,提取到待测图像中的目标物理实体;根据图谱知识库检索与目标物理实体对应的违规管理信息,记为第一违规管理信息;使用预先训练的深度学习卷积神经网络模型对待测图像进行处理,提取到待测图像的目标特征向量;根据图文向量库检索与目标特征向量对应的违规管理信息,记为第二违规管理信息;使用多模态大模型对第一违规管理信息、第二违规管理信息进行处理获得最终的违规管理信息。本发明提高违规行为挖掘的准确性,进行安全管理要求的匹配,提高工作效率,降低安全风险。
技术关键词
检测管理方法
深度学习卷积神经网络
工地
实体
图谱
物理
图文
多模态
文本
检测管理系统
信息检索
YOLO算法
节点
关系
图片
可读存储介质
神经网络模型
指图像
语义