一种多模态神经网络模型及铁路货车图像标注的方法

本发明公开了一种多模态神经网络模型及铁路货车图像标注的方法，该方法包括如下步骤：获取待处理铁路货车图像和定位点坐标；定位点坐标位于待处理铁路货车图像的目标部件区域中；以待处理铁路货车图像和定位点坐标为输入，基于多模态神经网络模型的输出确定候选轮廓框；定位点坐标位于候选轮廓框内；候选轮廓框为一个或多个；当候选轮廓框为一个时，其为目标部件的轮廓框；当候选轮廓框为多个时，其为目标部件的轮廓框以及目标部件的关联部件的轮廓框；由候选轮廓框中选择目标轮廓框。该方法使用多模态神经网络模型，结合来自标注工具的定位点坐标输入，对铁路货车图像进行半自动标注，提高了铁路货车图像标注的效率。