摘要
本发明属于具身智能领域,公开一种基于多模态大模型与AirSim的无人机具身数据生成方法、系统及装置;所述方法包括:基于AirSim模拟器搭建仿真飞行环境;在仿真飞行环境中,构建虚拟无人机、目标电力设备以及障碍模型;通过多模态大模型生成虚拟无人机的控制指令集合;虚拟无人机根据控制指令集合在仿真飞行环境中飞行至目标电力设备处进行巡检,实时获取多视角数据、无人机姿态信息、巡检视频和相应的控制指令,来构建多模态具身数据。上述技术方案在提高数据采集效率的同时,避免了无人机进行数据采集的安全风险,以实现对多模态具身数据的获取,在为自然语言模型提供可靠数据集进行训练测试的同时,实现了根据自然语言模型对无人机飞行路线的智能规划。
技术关键词
数据生成方法
电力设备
多模态
无人机姿态
视频
多视角
自然语言模型
模拟器
数据处理器
电力设施设备
数据生成系统
数据采集效率
数据生成装置
电子器件
搭建模块
仿真环境
系统为您推荐了相关专利信息
情感识别方法
融合特征
音频特征
编码器结构
无监督
多模态数据融合
卡尔曼滤波
焦点
数字病理切片扫描仪
可读存储介质
干扰分析模型
误差系数
噪声参数
分析模块
分布式传感器
多模态深度学习
关节运动功能
状态识别方法
图像分类模型
图像分割模型
鱼类疾病
分类特征
计算机可执行指令
图像
注意力