摘要
本申请涉及一种基于容器部署与管理系统的模型部署方法和装置。该方法包括:在获取到第一客户端的部署请求的情况下,在容器化部署平台上部署目标资源管理组件,其中,目标资源管理组件中部署有第一前台应用、向量数据库与后台服务,第一前台应用用于接收访问用户的交互内容,向量数据库用于存储第一客户端上传的文档的向量,后台服务用于通过向量数据库中的向量与交互内容,在第一前台应用中显示交互内容的回复内容;将第一前台应用的访问链接返回给第一客户端。本申请解决了用户部署大语言模型效率低的技术问题。
技术关键词
资源管理组件
交互内容
模型部署方法
前台
客户端
管理系统
关键词
计算机可执行指令
容器
镜像仓库
生成配置文件
通信接口
平台
大语言模型
存储器
处理器
标识
电子设备
系统为您推荐了相关专利信息
数据推荐方法
交叉注意力机制
关联产品信息
神经网络模型
兴趣
负荷预测模型
学习预测方法
状态空间模型
历史负荷数据
电力系统负荷预测
智能采集系统
智能监控系统
数据采集设备
操作系统
光端机
密钥管理设备
密钥标识符
数据保护方法
客户端
密钥生成算法