摘要
本发明公开了一种医学多模态基座模型的训练方法、系统、设备和存储介质,涉及模型训练技术领域,方法包括:构建医学多模态基座模型;对每个数据处理分支进行训练;当对每个数据处理分支训练完成后,利用每个数据处理分支的输出数据,对多任务解码器进行训练。一方面,基于模型迁移能力,能够利用少量的多模态数据,对多任务解码器进行更好的训练,且得到的训练好的医学多模态基座模型能够支持输入多模态数据;另一方面,通过对数据处理分支和多任务解码器进行解耦训练,能够减少数据处理分支与多任务解码器之间的相互依赖,从而提高训练好的医学多模态基座模型的稳定性、泛化能力和预测精准度。
技术关键词
多模态
多任务
分支
解码器
医学
编码器
基座
训练系统
跨模态
数据
模型训练模块
模型训练技术
可读存储介质
处理器
文本
存储器
计算机
电子设备
指令
系统为您推荐了相关专利信息
监督学习方法
神经网络模型
计算机可读指令
图像块特征
采样模块
多任务机器学习
节点
高风险
孤立森林算法
PageRank算法
袋式除尘器
次声波发生器
复合基板
振动组件
压电陶瓷
模型建模方法
跨模态
模式特征向量
物理
数字孪生