摘要
本发明涉及一种国产芯片架构下的软件性能优化方法及系统,包括以下步骤S1:对电力AI应用进行任务细分,并明确应用性能改进的KPI,包括降低延迟、提高精度;S2:根据任务细分,将AI应用分解为独立服务模型,提高可扩展性,并使用Kubernetes进行容器化管理,实现自动扩展和故障恢复;并利用Istio,实现精细化的服务路由和流量管理;S3:采用支持人工智能加速的国产芯片麒麟,利用自定义指令集设计专用加速库,并根据应用需求,配置混合精度计算和高带宽;S4:使用PaddlePaddle的国产框架,优化独立服务模型以适应国产芯片麒麟;S5:在电网边缘节点部署优化后的独立服务模型,使用TensorRT对模型进行优化,提高本地处理能力。本发明有效提升电力AI应用的运算效率和灵活性。
技术关键词
软件性能优化方法
芯片架构
部署Kubernetes集群
支持人工智能
内存
自定义算子
加速库
性能优化系统
高带宽
设计专用
数据访问模式
精度
容器
环形缓冲区
缓存命中率
阶段
因子
模型剪枝