基于振动与视觉数据多模态融合的岩体异常检测方法

本发明涉及地质勘察与测量技术领域，具体涉及一种基于振动与视觉数据多模态融合的岩体异常检测方法，首先分别采集振动数据和图像数据，再通过深度学习模型进行数据特征提取与融合，具体使用长短期记忆网络LSTM和卷积神经网络CNN的组合模型提取振动数据的时序特征和频率信息，通过Swin‑T模型提取图像数据的空间特征，然后使用共享Transformer编码器与交叉注意力机制实现多模态数据对齐和融合，再将融合后的特征输入异常检测模块进行训练调优，最后将训练好的模型部署到边缘设备上用于岩体的异常检测。本发明通过多模态数据融合，在各类复杂环境下准确识别异常，从而减少误报和漏报的概率，同时结合边缘计算架构还便于现场部署和实时监测，适应多种应用场景。