面向隔离内网环境的大语言模型混合部署系统及调度方法

本公开涉及人工智能和网络安全技术领域，尤其涉及面向隔离内网环境的大语言模型混合部署系统及调度方法。系统包括：本地模型集群，部署在隔离内网环境，用于接收敏感信息请求；云端模型集群，部署在云端专用网络，用于接收脱敏数据；VPN隧道，部署在隔离内网环境连接到云端专用网络之间，用于对在隔离内网环境和云端专用网络之间传输的数据进行加密处理；API网关集群，用于接收用户请求和路由决策到本地模型集群或者云端模型集群。本次发明采用创新的混合云架构设计，将本地模型集群与云端专用网络相结合。系统的核心思想是在隔离内网环境内部署一个本地模型集群，同时通过安全的VPN隧道连接到云端专用网络的专用网络，在云端专用网络部署大规模的语言模型。