摘要
本发明公开了一种基于混合专家模型的边缘智能体任务协同推理方法及装置,每个边缘智能体接收任务请求者发布的推理任务信息,且每个边缘智能体将自身配置信息广播至其它边缘智能体;每个边缘智能体基于其它智能体广播的配置信息,以最大化自身效用为目标,通过联盟博弈分布式地形成纳什稳定且互不相交的若干边缘智能体联盟;每个边缘智能体联盟内的边缘智能体共享该边缘智能体联盟内的所有专家子模型信息,从而完成任务协同推理,并将推理结果返回给相应任务请求者。本发明的目的在于通过动态联盟形成与专家模型共享机制,降低模型加载延迟与计算开销,提升边缘智能体间的协同推理效率,确保资源分配的公平性与联盟的稳定性,进而实现资源受限环境下大模型的高效实时推理。
技术关键词
推理方法
推理装置
列表
精度
资源受限环境
计算机程序产品
队列
信誉
处理器
可读存储介质
资源分配
计算机设备
存储器
模块
频率
时延
参数
强度
机制