摘要
本申请涉及一种基于大模型网络层融合压缩的传感器边端系统部署系统,包括:网络层融合模块,对云端大模型内部层进行融合压缩;网络层特性分类模块,通过DFS算法遍历数据流动路径,基于预设依赖层数阈值将存在直接依赖关系的网络层聚类为小组,结合各小组的计算量、内存访问频率及设备计算能力、内存容量,计算特性值,通过特性值阈值进行类型分类;大模型部署模块,采用预设负载公式计算设备负载值,根据负载状态和网络层小组类型,通过分配模型动态分配网络层至对应设备完成部署。本发明通过网络层融合技术有效减少大模型参数量,更多的保留关键特征表达能力,基于网络层特性值和设备负载进行网络层分类动态部署的方法实现硬件资源利用率提升。
技术关键词
深度优先搜索算法
端系统
内存
网络连接状态
关系
网络带宽利用率
服务器
注意力机制
网络传输协议
传感器
混合型
硬件资源利用率
确定性规则
云端
信号强度阈值
模块
局部特征提取
数据传输方式
全局平均池化