摘要
本公开提供了一种大模型服务的部署方法、装置、介质及设备,涉及人工智能技术领域,尤其涉及服务部署、深度学习、自然语言处理技术领域。实现方案为:响应于待配置的多个服务器中的第一服务器接收到来自客户端的配置请求,基于配置请求中有关第一服务器的配置信息,在第一服务器部署剧本编排模块;由剧本编排模块,根据预设的剧本文件以及配置请求中的配置描述,生成针对多个服务器的配置计划;以及向多个服务器中的各个服务器按照配置计划依次分发对应的配置任务,使各个服务器逐步完成相应的环境配置和软件安装,以基于配置完成的多个服务器构建能够提供大模型服务的集群。
技术关键词
负载均衡节点
集群
服务器
多模态
软件
语义向量
环境配置信息
客户端
计划
数据
离线
信息检索
摘要
在线
处理器
资源
人工智能技术
模块
计算机
系统为您推荐了相关专利信息
监控方法
AI盒子
步态规划
训练检测模型
实时数据采集
许可
监控管理方法
软件
监控管理系统
预测序列数据
预测模型构建方法
深度神经网络架构
蒙特卡罗
融合多模态特征
生理