摘要
本发明提出了一种面向多类神经网络协同场景的张量感知片上缓存系统。该片上缓存架构面向多人工智能加速器协同执行多类神经网络负载下面临的片上缓存资源竞争问题,通过构建虚拟地址‑张量地址‑物理地址三级地址空间,并设计张量注册、张量注销、张量查询等指令,实现张量数据的片上缓存状态感知。同时,本发明提出基于张量数据感知的片上缓存分配算法,通过感知片上缓存状态,动态将虚拟地址映射至张量地址,优化张量数据在片上缓存中的分布,有效减少张量数据间的缓存竞争现象,进一步提升多模型协同处理的性能。
技术关键词
片上缓存系统
人工智能加速器
神经网络模型
映射方法
多模型协同
操作系统
动态
指令
贪心算法
地址映射
索引
布局
数据分布
场景
资源
关系
标签
组织
系统为您推荐了相关专利信息
演示文稿内容
卷积神经网络模型
文本
编码特征
转换方法
应变场测量方法
神经网络模型
图像块
上下文特征
注意力
压力测量方法
神经网络模型
出口歧管
计算机可读储存介质
物理
无人机集群
编码策略
协作式
数据传输方法
神经网络模型训练
石材幕墙
图像筛选方法
人机交互模块
迁移学习技术
深度学习模型