纯脉冲驱动的Transformer神经网络自动架构搜索方法

本发明属于人工智能神经网络技术领域，尤其涉及一种纯脉冲驱动的Transformer神经网络自动架构搜索方法。结合TransSpikingformer网络结构，包含脉冲分词器、脉冲Transformer块及分类头，利用自注意力机制与脉冲神经元特性实现高效特征提取。进一步提出基于无训练神经架构搜索的方法，通过定义搜索空间、生成候选架构、以FLOPs为指标快速筛选最优模型，并结合进化算法迭代优化，适应不同资源约束。该方法在不同数据集上表现出更高的准确率和显著的能耗优势，且能根据资源约束自动寻找最优模型结构，适用于多种设备资源情况。通过创新的SN‑ConvBN脉冲残差连接结构，避免传统残差连接中的非脉冲计算，确保所有运算符合事件驱动原则，显著降低能耗。