一种基于多模态数据的多阶段深度学习训练方法

本发明涉及一种基于多模态数据的多阶段深度学习训练方法，通过设计一个三阶段的数据引擎，结合SAM模型，用于提高模型在多模态数据训练中的效果。此方法特别适用于多种图像分割任务，尤其是在新的数据分布上进行零样本迁移，三阶段的数据引擎这一设计通过不同阶段的交互式分割任务，以使在输入提示模糊或存在多种解释时也能保持合理性，使得模型在多样化图像分割任务上表现出色。