一种在边缘算力网络中低成本部署混合专家大模型的方法

AITNT
正文
推荐专利
一种在边缘算力网络中低成本部署混合专家大模型的方法
申请号:CN202411690071
申请日期:2024-11-25
公开号:CN119449624B
公开日期:2025-08-22
类型:发明专利
摘要
本发明隶属新一代信息技术领域,具体地说,是一种在边缘算力网络中低成本部署混合专家大模型的方法,包括以下步骤:一、问题定义与初始化;二、首个专家模型部署方法;包括成本计算及首个专家模型部署操作;三、后续专家模型部署方法;包括已部署节点集更新、成本更新、后续专家模型部署及路由操作;四、重复与终止;五、输出。本发明通过降低单次专家模型的平均部署成本,实现了降本增效的目标,为大模型服务供应商提供了资源节约且效益更高的混合专家模型在边缘计算网络中的部署方案。
技术关键词
模型部署方法 节点 物理 低成本 网络 新一代信息技术 资源节约 定义 链路 度量 指标 参数
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号