摘要
本发明提供一种3D点云大模型对话交互呈现方法、装置及电子设备,其中,该3D点云大模型对话交互呈现方法包括:获取目标场景的点云数据,并对所述点云数据进行预处理和数据增强;对所述点云数据进行多模态特征提取,生成所述点云数据对应的场景语义关联图;结合所述场景语义关联图,对所述点云数据与自然语言进行跨模态对齐,并进行多任务联合训练优化对齐精度;解析用户指令,并基于解析结果对所述目标场景中的目标区域进行动态渲染。通过本发明,能够有效提高对无序的、稀疏的点云数据进行语义特征提取的准确度,还能够实现跨模态对齐的效果,解决了现有的相关技术中存在的对三维点云场景理解交互效果不佳的问题。
技术关键词
呈现方法
多任务联合训练
稀疏卷积神经网络
场景
自然语言
数据
跨模态
多模态
语义特征提取
动态
电子设备
点云特征
对齐模块
指令
离群点
处理器
精度
视角
系统为您推荐了相关专利信息
Agent技术
智能决策支持
流水线
生成系统
模块
分布式系统
故障传播路径
监控模块
识别模块
度量
识别方法
图像
语言编码器
监控视频流
多模态特征