一种针对少量多模态病理标注数据混合提示学习框架的训练方法及系统

本发明公开了一种针对少量多模态病理标注数据混合提示学习框架的训练方法及系统。该训练方法包括获取原始CLIP模型、初始文本提示、与初始文本提示对应的训练图像，原始CLIP模型包括图像编码器和文本编码器；在图像编码器中插入可学习视觉提示标记，在文本编码器中插入可学习文本提示标记；将训练图像输入图像编码器与可学习视觉提示标记结合进行特征编码，得到视觉提示嵌入；将初始文本提示输入文本编码器与可学习文本提示标记结合进行特征编码，得到文本提示嵌入；基于视觉提示嵌入和文本提示嵌入的相似性，调整可学习视觉提示标记、可学习文本提示标记以及耦合函数的参数，得到混合提示学习框架，提升了模型的多模态结合能力。