一种融合图像、文本与BIM模态的施工场景预测方法及装置

本发明提供的一种融合图像、文本与BIM模态的施工场景预测方法及装置，涉及智慧施工预测管理技术领域。本发明通过提取BIM模型的BIM语义信息构建BIM语义图，结合YOLO模型进行施工现场视频的目标检测识别，得到目标检测结果；并与CLIP跨模态对齐实现图像、文本与BIM的多模态数据深度融合，得到多模态异构图；将多模态异构图输入时空序列模型进行预测，输出未来若干时刻施工场景的预测结果，并动态映射至数字孪生平台，实现风险预警与可视化展示。本申请能够实时捕捉施工动态变化，精准预测施工进度与风险，提升施工管理智能化水平。