一种NPU固件支持多模型快速切换的方法

AITNT
正文
推荐专利
一种NPU固件支持多模型快速切换的方法
申请号:CN202510274919
申请日期:2025-03-10
公开号:CN120216175A
公开日期:2025-06-27
类型:发明专利
摘要
本发明公开了一种NPU固件支持多模型快速切换的方法。本发明中,显著提升了多任务场景下的系统实时性与资源利用率。通过动态分层缓存策略与优先级调度机制,系统能够智能分配高速缓存资源,优先保障高频率、高紧迫性模型的快速加载,例如在自动驾驶场景中,路径规划模型的切换延迟可降至毫秒级,确保关键任务无感知切换。增量参数加载技术与固件级上下文管理深度融合,仅传输模型差异数据并利用硬件加速恢复计算状态,大幅减少传统全量加载带来的带宽浪费,使边缘计算设备在语音识别与图像处理等多任务并行时,模型切换效率提升10倍以上,同时保持计算精度无损。
技术关键词
多模型 固件 缓存策略 缓存命中率 上下文管理 内存碎片整理 事件监控单元 硬件资源利用率 连续地址空间 并行计算单元 多任务 混合预测模型 内存管理单元 CRC校验码 强化学习框架 数字签名验证 滑动窗口算法 缓存管理器 队列 优先级算法
系统为您推荐了相关专利信息
1
基于大模型的客户语音分析系统
语音分析系统 矩阵 客户 文本 语义特征
2
一种分瓣式航天器及超大型天线在轨组装方法
航天器 天线模块 解锁组件 中空支柱 运载火箭
3
计算机资源处理方法及装置
节点 资源 电数字数据处理 关系 压力
4
一种基于鸿蒙物联网架构的电动自行车智能控制方法
物联网架构 故障预测模型 固件更新 分布式数据管理 动态
5
一种溶洞储氢泄漏氢气驱动的智能微生物合成系统及PHB资源化方法
产物生成速率 参数 氢气浓度传感器 溶解氧 多模型
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号