一种面向多边缘设备的Transformer模型协同推理方法

本发明公开的一种面向多边缘设备的Transformer模型协同推理方法，属于边缘计算领域。本发明实现方法为：将原数据集划分为多个标签类别数相等的子数据集，根据边缘设备计算性能和资源，切分原始模型为多个仅保留重要结构的子模型，通过子任务蒸馏方法帮助子模型学习原始模型特征，采用模型集成方法聚合所有子模型，提升集成模型的整体性能；将训练好的集成模型中的子模型，分别部署到对应边缘设备上。当边缘设备接收的推理任务请求时，所有边缘设备并行执行子模型的推理，中心节点使用特征融合模块融合所有中间结果得到最终推理结果，实现多边缘设备的模型协同推理，提高边缘设备执行推理任务的推理速度，降低边缘设备执行推理任务的推理能耗。