摘要
本发明公开了一种大语言模型驱动的无人机图像语义传输与问答系统和方法,图像语义提取和量化模块利用语义编码器对无人机捕获的原始图像进行语义特征提取,再通过码本机制离散化特征向量,用于无线信道传输。图像重建模块根据接收到的离散向量对应收发端共享的码本从语义层面恢复传输图像。图像字幕生成模块将图像重建模块恢复的图像作为输入,利用BLIP字幕生成系统生成文本描述信息。提示词生成模块根据用户任务描述和图像字幕生成模块输出文本描述信息生成一段提示词。大语言模型问答模块根据提示词输出自然语言响应指导无人机下一步行动。本发明提升低信噪比条件下无线图像传输的鲁棒性和效率,并且提高问答系统的可解释性,具有一定的实用价值。
技术关键词
大语言模型
问答系统
无人机
字幕
图像语义提取
图像重建
解码器
模块
文本
重构原始图像
视觉特征
索引
感知损失函数
上采样
信道
语言编码器
自然语言理解
系统为您推荐了相关专利信息
路径规划方法
车辆
邻域搜索算法
路径规划系统
多无人机
自动播种方法
规划
无人机飞行速度
种子
无人机飞行高度
写作系统
人工智能模块
大语言模型
数据处理模块
数据储存单元