一种增强大语言模型三维空间理解的场景表征方法及装置

本申请提供了一种增强大语言模型三维空间理解的场景表征方法及装置，涉及数据处理技术领域。构建多个视觉参照物，学习视觉参照物对应的局部区域内点的空间信息，获得第一层级的三维空间表征。通过消息传递机制促进不同视觉参照物间的全局空间分布建模，使每个视觉参照物不仅捕捉其局部特征，还能理解与相邻参照物之间的全局空间关系，形成第二层级的三维空间表征。通过注意力机制实现视觉参照物与全局场景之间的信息交互，并增加位置精调网络细化视觉参照物的定位，得到第三层的三维空间表征。如此，采用从第一层级到第三层级的渐进式三维空间表征，捕获到增强了位置信息的空间表征，提高大语言模型在处理三维视觉语言任务的空间理解和推理能力。