训练神经网络用于基于视觉的跟踪的方法、装置和系统

本申请涉及训练神经网络用于基于视觉的跟踪的方法、装置和系统。经由相对于对象固定的相机接收对象的至少一部分的二维(2D)图像。随后，关键点检测器预测在2D图像中在对象上的一组关键点，从而生成预测的2D关键点。然后将这些预测的2D关键点投影到三维(3D)空间中，并且添加关键点深度信息以生成预测的3D关键点。为了增强训练过程，利用对象的3D模型。2D图像中的对象的已知旋转和平移信息被合并到已知3D模型关键点，从而产生变换的3D模型关键点。此后，进行预测的3D关键点与变换的3D模型关键点之间的比较以计算损失值。使用优化器进一步细化训练过程，从而在训练时段期间使损失值最小。