大模型服务的部署方法、装置、介质及设备

AITNT
正文
推荐专利
大模型服务的部署方法、装置、介质及设备
申请号:CN202411037896
申请日期:2024-07-30
公开号:CN118963776A
公开日期:2024-11-15
类型:发明专利
摘要
本公开提供了一种大模型服务的部署方法、装置、介质及设备,涉及人工智能技术领域,尤其涉及服务部署、深度学习、自然语言处理技术领域。实现方案为:响应于待配置的多个服务器中的第一服务器接收到来自客户端的配置请求,基于配置请求中有关第一服务器的配置信息,在第一服务器部署剧本编排模块;由剧本编排模块,根据预设的剧本文件以及配置请求中的配置描述,生成针对多个服务器的配置计划;以及向多个服务器中的各个服务器按照配置计划依次分发对应的配置任务,使各个服务器逐步完成相应的环境配置和软件安装,以基于配置完成的多个服务器构建能够提供大模型服务的集群。
技术关键词
负载均衡节点 集群 服务器 多模态 软件 语义向量 环境配置信息 客户端 计划 数据 离线 信息检索 摘要 在线 处理器 资源 人工智能技术 模块 计算机
系统为您推荐了相关专利信息
1
一种混凝土浇筑违规加水监控方法
监控方法 AI盒子 步态规划 训练检测模型 实时数据采集
2
一种专用软件许可的集中监控管理方法及系统
许可 监控管理方法 软件 监控管理系统 预测序列数据
3
多模态人工智能质量缺陷预测方法
缺陷预测方法 多模态 预警规则 统计特征 传感器
4
基于深度学习的麻醉并发症预测模型构建方法
预测模型构建方法 深度神经网络架构 蒙特卡罗 融合多模态特征 生理
5
一种智能医疗质量监控与病例分析系统及方法
分析系统 多模态 HIS系统 分析模块 患者
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号