一种基于混合专家和参数重用的模型构建方法
申请号：CN202410863999
申请日期：2024-06-30
公开号：CN118690783A
公开日期：2024-09-24
类型：发明专利
摘要
本发明公开了一种基于混合专家和参数重用的模型构建方法，包括MoE模块构建、推理时专家合并、立即块重用三个部分。本发明能够实现更好的精度、体积、速度权衡的transformer架构模型。
技术关键词
模型构建方法
合并方法
代表
网络深度
模块
线性
超参数
注意力
动态
分支
数据
精度
速度
