一种多模态模型驱动的数字孪生煤岩识别方法

本发明属于煤矿智能化与数字孪生技术领域，本发明提供了一种多模态模型驱动的数字孪生煤岩识别方法及系统。该方法通过同时采集煤矿工作面煤岩的图像数据和振动信号数据，对多模态原始数据进行预处理，并分别提取视觉和声学特征；所述特征经基于Transformer架构的多模态融合算法进行融合，得到联合特征用于煤岩识别；识别结果与实时采集的煤矿工作面煤岩图像数据共同输入数字孪生模型，实现煤矿物理实体与煤矿虚拟模型的同步更新与交互映射。通过融合图像和振动信号及数字孪生技术，本发明显著提高了煤岩识别的准确性和鲁棒性，克服了单一传感器受环境干扰影响大的缺点，并可实现采煤现场的实时监测和智能决策支持，从而提高了智能采煤的效率和安全性。