基于容器部署与管理系统的模型部署方法和装置

AITNT
正文
推荐专利
基于容器部署与管理系统的模型部署方法和装置
申请号:CN202410896609
申请日期:2024-07-04
公开号:CN118760441A
公开日期:2024-10-11
类型:发明专利
摘要
本申请涉及一种基于容器部署与管理系统的模型部署方法和装置。该方法包括:在获取到第一客户端的部署请求的情况下,在容器化部署平台上部署目标资源管理组件,其中,目标资源管理组件中部署有第一前台应用、向量数据库与后台服务,第一前台应用用于接收访问用户的交互内容,向量数据库用于存储第一客户端上传的文档的向量,后台服务用于通过向量数据库中的向量与交互内容,在第一前台应用中显示交互内容的回复内容;将第一前台应用的访问链接返回给第一客户端。本申请解决了用户部署大语言模型效率低的技术问题。
技术关键词
资源管理组件 交互内容 模型部署方法 前台 客户端 管理系统 关键词 计算机可执行指令 容器 镜像仓库 生成配置文件 通信接口 平台 大语言模型 存储器 处理器 标识 电子设备
系统为您推荐了相关专利信息
1
一种基于链路的行为异常判断处理方法和系统
链路 神经网络模型 客户端 服务器 计算机
2
一种数据推荐方法、装置、设备及介质
数据推荐方法 交叉注意力机制 关联产品信息 神经网络模型 兴趣
3
电力系统负荷的自学习预测方法、装置及存储介质
负荷预测模型 学习预测方法 状态空间模型 历史负荷数据 电力系统负荷预测
4
一种水利工程精密监测数据智能采集系统
智能采集系统 智能监控系统 数据采集设备 操作系统 光端机
5
一种在TLS中融合量子密钥的数据保护方法
密钥管理设备 密钥标识符 数据保护方法 客户端 密钥生成算法
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号