摘要
本发明涉及人工智能与边缘计算交叉技术领域的技术领域,特别涉及一种分布式视觉语言模型的边缘部署系统、方法、存储介质及处理器。本发明提出了一种分布式视觉语言模型的边缘部署系统、方法、存储介质及处理器,包括前端和后端协同工作的分布式拓扑结构;前端为边缘设备端,后端为推理设备端;视觉编码模块部署在边缘设备端,语言推理模块部署在推理设备端;所述视觉编码模块和语言推理模块通过动态安全协议进行特征传输。视觉编码与多模态推理模块分离部署于不同硬件设备,通过模块化设计实现边缘端高效特征提取与后端联合推理,在保障隐私安全的同时降低边缘设备计算负载。
技术关键词
分布式视觉
设备端
分布式拓扑结构
图像传感器模块
文本
全局平均池化
视觉特征
令牌
RGB色彩空间
双线性插值算法
会话密钥协商
密钥交换算法
解密模块
CRC校验码
多头注意力机制
MQTT协议
瓶颈