摘要
本申请公开了一种基于链路的大小模型协同方法、装置及存储介质,包括:端侧设备通过内置传感器采集多模态数据并预处理,将预处理结果输入小型多模态模型推理得到初步推理结果;将初步推理结果及状态描述信息输入预配置的PPO处理,若PPO输出需上传云端,则打包原始数据预处理结果和初步推理结果上传至云端服务器;云端服务器接收数据并预处理,将结果输入大型多模态模型推理分析生成报告,再将报告发送给端侧设备;端侧设备收集模型推理的反馈信息上传至云端服务器,云端服务器依此更新模型并将更新后的模型参数回传给端侧设备。
技术关键词
多维特征向量
云端服务器
协同方法
多模态
链路
输入输出单元
文本
策略
协同系统
数据
模型更新
图像提取模块
网络
可读存储介质
生成动作
生成报告
输送单元
系统为您推荐了相关专利信息
剪辑系统
分数阶
视频空间分辨率
输出模块
多模态