基于多模态视觉融合的煤矸石智能识别方法及系统

本发明提供一种基于多模态视觉融合的煤矸石智能识别方法及系统，涉及煤炭分选领域，该方法包括：采集煤矸混合物的多模态图像数据；对多模态图像数据进行预处理；将可见光图像、高光谱图像及景深图像对齐；根据深度学习模型进行煤矸识别；根将可见光识别结果、高光谱识别结果进行融合；根据景深高度及煤矸识别结果进行体积估算得到煤、矸的体积；计算煤矸混合物的煤矸含量。本发明实施例基于多模态视觉信息的综合利用，增强了对煤矸石特征的捕捉能力，提高了识别的准确性和鲁棒性；基于融合策略的使用，使得来自不同图像模态的信息得到有效整合，提升了系统的识别性能；自动化程度高，可大幅减少人工成本，提高了分选效率。