摘要
本发明公开了一种灾害救援场景下的无人机航拍视频语言定位方法,包括:获取多个连续帧图像的无人机航拍视频以及待定位目标的自然语言描述文本,共同输入无人机航拍视频语言定位系统中,得到语言定位结果;其中,无人机航拍视频语言定位系统包括视频文本特征提取器、多模态多尺度时空特征编码模块、查询调制模块、多尺度感知的坐标动态推理解码模块;最终通过多尺度感知的坐标动态推理解码模块输出更新后的目标边界框坐标用于表征自然语言描述文本指代的目标在图像中的空间位置。本发明可以对航拍视频内容进行深入的语义分析和上下文理解,显著提高无人机在安防救援任务中的实用性和效率。
技术关键词
无人机航拍视频
上下文查询
多尺度感知
救援场景
视觉特征
令牌
定位方法
多层感知机
解码模块
注意力
文本
自然语言
坐标
编码模块
多模态特征
多尺度特征
特征提取器
系统为您推荐了相关专利信息
图像缺陷分割方法
多尺度图像块特征
前景文本
图像分割模型
辅助分类器
大规模数字直播方法
编码视频流
资源分配
队列算法
数据处理算法
神经网络模型
手势
手语翻译方法
视觉特征
手语翻译装置