基于多模态特征融合与动态权重优化的大模型分布式推理加速方法

本发明涉及大模型技术领域，更具体地，涉及一种基于多模态特征融合与动态权重优化的大模型分布式推理加速方法，所述方法包括以下步骤：S1：通过内嵌在负载均衡器中的推理上下文分析模块进行实时语义解析得到语义特征；S2：根据语义特征来计算缓存适配度；S3：查询全局缓存目录服务获取匹配节点列表，结合缓存适配情况、节点负载情况以及网络质量的各项参数，运用多融合决策算法来做出决策；S4：根据决策在负载均衡层部署全局缓存目录服务，在各计算节点维护本地缓存池并实时同步缓存元数据至全局缓存目录服务中。本发明解决了在采用常规负载均衡策略进行多节点部署时，容易造成计算资源的浪费、增加系统整体能耗、降低请求处理速度等问题。