基于沙箱-LLM会话双向绑定的并发调试方法和系统

AITNT
正文
推荐专利
基于沙箱-LLM会话双向绑定的并发调试方法和系统
申请号:CN202511220809
申请日期:2025-08-29
公开号:CN120723618B
公开日期:2025-11-28
类型:发明专利
摘要
本发明提供了一种基于沙箱‑LLM会话双向绑定的并发调试方法和系统,方法包括:为每个大型语言模型LLM会话分配全局唯一会话标识;将全局唯一会话标识与沙箱实例标识写入分布式内存数据库形成双向绑定表,初始状态标记为绑定状态;通过环境变量及HTTP/gRPC头字段实现全链路全局唯一会话标识的透传;当沙箱热迁移时,旧实例通过分布式互斥锁将绑定表条目状态原子性更新为迁移状态,新实例在预设时间内完成预热后写入绑定状态;日志代理按沙箱实例标识聚合指标,按预设频率采集平均生成延迟、累计数据采集数及GPU显存占用;周期性轮询绑定表,对超过分布式互斥锁预设阈值且状态为回收的条目执行清理。
技术关键词
沙箱 分布式内存数据库 调试方法 调试系统 标识 会话 滑动时间窗口 灵敏度参数 条目 日志 压缩算法 速率 基线 周期性 标记 文本 背压 链路 客户端
系统为您推荐了相关专利信息
1
安全气囊弹出风险处理方法、装置、系统及电子设备
风险 总线模块 图像采集模块 相机 车辆状态信息
2
密钥配置方法、密码运算方法及相关设备
密钥配置方法 管理中心系统 业务系统 执行密码运算 密码运算方法
3
基于BIM技术的建筑智慧能耗管理系统
能耗管理系统 BIM技术 物理设备 定位校准 历史运行数据
4
一种面向EDR的溯源模型及其行为链条保存机制
链条 机制 取证工具 存储系统 校验数据完整性
5
一种基于区块链的就业信息跟踪系统
数据管理 标识符 跟踪系统 向量空间模型 访问控制策略
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号