基于多模态数据融合的煤仓物料状态监测方法

本发明涉及煤仓内部物料的检测方法，具体为基于多模态数据融合的煤仓物料状态监测方法，本发明将点云数据体素化，对体素数据提取体素特征，同时对图像数据提取图像特征。然后利用区域候选网络生成边界候选框，并通过质心动态融合网络模块计算体素质心，将体素质心投影到图像平面上，采样图像特征实现全局融合。接着将每个边界候选框划分为均匀的体素网格，通过PIE模块对网格中心位置进行编码，生成位置信息编码特征，通过网格点动态融合模块实现局部融合。最后将全局融合特征、局部融合特征和位置信息编码特征进行聚合，最终生成融合图像。本发明融合后的数据更加全面、准确，能够更真实地反映煤仓内部物料的实际情况。