基于人工智能开发平台的模型量化方法、装置、设备

本申请涉及模型量化技术领域，公开了一种基于人工智能开发平台的模型量化方法、装置、设备，该方法包括加载校准数据集；从加载的校准数据集中提取指定列的内容，并将提取的内容对应的文本拼接成长文本；用分词器将拼接后的长文本转换为模型输入格式；多次从模型输入格式对应的数据中截取片段，为截取的片段生成对应的注意力掩码，以得到满足预设条件的数据集；使用预设的参数构建量化配置对象；基于量化配置对象，将满足预设条件的数据集进行量化，生成量化后的模型。本公开简化了模型量化的操作，降低了使用难度，用户无需任何编码，只需设置必要的参数即可完成模型量化，减少了用户在每次量化任务中都需重新配置的烦琐工作，提升了效率。