基於混合精度演算法和記憶體內運算加速器之軟硬體協同運作方法及其系統及非暫態電腦可讀儲存媒體

AITNT
正文
推荐专利
基於混合精度演算法和記憶體內運算加速器之軟硬體協同運作方法及其系統及非暫態電腦可讀儲存媒體
申请号:TW113127232
申请日期:2024-07-19
公开号:TWI884041B
公开日期:2025-05-11
类型:发明专利
摘要
本發明提供一種基於混合精度演算法和記憶體內運算加速器之軟硬體協同運作系統,其處理器從記憶體獲得預訓練模型之初始權重參數;針對初始權重參數進行剪枝程序,以產生剪枝權重;及針對剪枝權重的非零權重進行濾波器混合精度量化訓練而產生具有不同位元寬度之濾波器權重,並將濾波器權重進行配對而產生成對的濾波器權重組,並將成對的濾波器權重組進行混合而產生混合精度權重。記憶體內運算加速器針對混合精度權重及輸入參數執行記憶體內運算而產生記憶體內運算輸出。藉此,可以充分運算混合精度網路,並提升CIM的利用率及運算速度。
技术关键词
加速器 精度 剪枝模型 代表 程序 指令 速度
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号