基于多模态大模型中文乳腺超声视频诊断报告自动生成方法

本发明属于超声医学图像处理技术领域，基于多模态大模型中文乳腺超声视频诊断报告自动生成方法，它涉及一种中文乳腺超声视频诊断报告自动生成方法。本发明为了解决传统报告生成存在一定弊端，难以满足医疗行业实际需求的问题。本发明的步骤包括对院方提供的医疗影像数据集进行预处理，使用ChatGLM4进行文本清洗，以生成简洁、清晰的结构化医学数据集；应用BioViL编码器进行图像多分类任务的实现，通过医学图像编码器捕捉医学图像的图像特征，形成特征向量，训练得到乳腺图像多分类模型，用于生成乳腺图像对应的多个分类类别；应用InternVL模型，结合LoRa微调方法，构建强化提示词，使用监督微调方案对InternVL进行微调，从而自动生成完整的乳腺超声诊疗报告。