基于自适应阈值脉冲神经网络的多模态人机交互芯片

本发明提供了一种基于自适应阈值脉冲神经网络的多模态人机交互芯片，包括：传感器模块用于实时采集视觉信号、压力信号及表面肌电sEMG信号三种模态的输入数据；采集模块用于对压力信号和表面肌电sEMG信号进行模数转换及预处理，生成特征张量；识别模块包含三个由卷积神经网络CNN转化的自适应阈值SNN，分别处理三种模态的特征张量，并进行跨模态特征融合，输出机器人的运动意图；自适应阈值SNN通过动态调整脉冲神经元膜电位阈值，在维持计算精度的同时降低功耗。本发明通过三种模态的输入数据，结合自适应阈值SNN算法进行特征融合，能够全面捕捉操作者的运动意图与环境交互状态，显著提高机器人运动生成的准确性与适应性，增强人机协作的自然性和可靠性。