模型量化推理加速方法、装置、设备及介质

本发明涉及人工智能技术领域，可应用于医疗健康及金融科技等业务场景中，公开了一种模型量化推理加速方法、装置、设备及介质，包括：将输入文本划分为多个处理块，对非首个处理块进行重要性评分，按评分结果分配计算精度格式，确定每个处理块的统一量化配置；将网络模块划分为配置共享组，组内共享对应处理块的量化配置；根据统一量化配置执行块级量化推断，生成模型推理结果。本发明通过基于token重要性分数统一确定每个处理块的量化配置，并在网络模块组内复用该配置，实现了块级别的精度分配与并行量化推理，在保障推理精度的同时大幅降低显存开销和配置时间开销，有效提升长文本推理任务中的执行效率与显存利用率。