用于神经接口芯片的多模态神经网络架构设计方法及系统

本发明提供了一种用于神经接口芯片的多模态神经网络架构设计方法及系统，包括：通过上位机对多模态数据样本进行时间戳标记；将不同模态的数据文件统一转换为CSV格式，并通过时间戳对齐与降采样处理实现数据格式标准化；对多模态数据进行预处理，并通过时间戳归一化与插值对齐提取时间窗口内的样本数据；基于MobileNetV2设计轻量化多模态神经网络架构，各通道通过倒残差模块提取特征后融合；构建动态损失函数，通过指数衰减与sigmoid函数动态调整关节角度回归、压力回归及分类任务的权重，实现加权损失融合；调整网络超参数并训练模型，输出手部关节角度与指尖压力的预测结果。本发明能够在有限的网络参数量下准确预测手部抓取动作，适用于轻量级神经接口芯片。