一种基于国产DCU环境的本地大语言模型运行框架移植与适配方法

本发明属于人工智能和国产化基础平台领域技术领域，公开一种基于国产DCU环境的本地大语言模型运行框架移植与适配方法。本发明提供的方法实现了基于DCU的本地运行框架适配，大大增加了主流大语言模型运行框架的硬件选择范围；通过模型量化和压缩技术，降低了本地部署大语言模型的硬件要能够快速应用于自然语言处理领域，提升国产硬件在大语言模型应用中的竞争力。