一种融合大语言模型的神经辐射场植株渲染方法及装置

本发明公开了一种融合大语言模型的神经辐射场植株渲染方法及装置，该方法通过采集带文本提示符的植株图像集合，利用大语言模型从植株图像对应的文本提示符中提取语义信息，生成伪标签；使用伪标签，以对多视角植株图像之间的几何对应关系与单张植株图像内部的自监督关系对分割模型进行微调；将植株图像的位置参数输入神经网络模型预测得到新的图像参数，再通过体渲染公式进行渲染图像生成；加入不确定性估计损失同时给定目标文本提示符，以分割模型生成在每个输入视图上的二维分割图预测监督信号进行学习训练，输出三维植株渲染图像。本发明的方法在遮挡和小目标的复杂场景重建性能表现优异，为复杂果树场景高效重建提供了新的解决方案。