摘要
本发明公开了一种真实元宇宙环境下多模态数据集的构建方法,包括确定数据集内容,配置元宇宙环境环境,使用Unreal Engine引擎构建元宇宙客户端,收集元宇宙用户的图像信息、文本信息、当前时间、用户ID和场景的图像信息、音频信息、文本信息、当前时间、场景ID;使用MongoDB建立场景、用户、交互集合,为每个场景、用户创建一个文档,并存储图像、音频、文本信息;以用户ID,场景ID和时间为依据,将数据集合进行融合;将数据库中的数据以.csv文件的形式导出并整理。本发明通过元宇宙环境的选择以及对用户信息的动态采集,在服务端以及客户端的配置,保证了真实、实时数据的生成,构造的元宇宙环境下的数据集收集方法可供研究者们在任意场景下自行构造所需数据集。
技术关键词
Tomcat服务器
场景
数据
文本
客户端
C++编程语言
交互式用户界面
时间同步机制
音频特征提取
网络时间协议
NTP协议
支持高并发
时间服务器
图像特征提取
格式
深度神经网络
深度学习模型