一种多模态医学数据生成方法及相关装置

本申请属于一种数据生成方法，针对现有医学数据生成方法存在多模态医学数据资源受限、模态缺失以及数据稀缺的技术问题，提供一种多模态医学数据生成方法及相关装置，将通用医学大模型迁移至目标特定医学领域，得到微调医学大模型；获取任务关联的文本指令和多模态数据流，根据文本指令和多模态数据流，得到任务类型、已有模态列表、目标模态列表和文本指令解析后的任务指令；根据已有模态列表中的已有模态和任务指令，得到综合共享特征表示；对综合共享特征表示进行编码和解码后，得到转化后的特征指令，并对目标模态列表中的目标模态生成模态标记；基于转化后的特征指令，通过动态估计，更新生成状态。