基于声音特征和IMU信息融合的四足机器人地形分类方法及系统

本发明提供一种基于声音特征和IMU信息融合的四足机器人地形分类方法及系统，涉及地形感知领域，具体包括采集音频信号，处理后得到梅尔频谱图，并采集IMU信号，绘制三轴IMU信号时域图，将所述时域图划分为若干得到IMU信息图，计算每个时域图窗口的特征值，能够建立与梅尔频谱图在时间关系上相对应的IMU信息图，进而将梅尔频谱图与IMU信息图按照时间先后顺序进行拼接，输入至神经网络模型中进行地形分类；本申请通过融合声音感知和本体感知的方式来增强对非结构化户外地形的分类能力，拼接后的输入图像既包含了音频特征，也保留了IMU信息，从而使得神经网络模型能够从两个不同的感知来源中学习，能够更全面地理解地形特征，从而提高对复杂环境的识别能力。