一种多模态的医学图像异常检测方法、介质和设备

本发明公开了一种多模态的医学图像异常检测方法、介质和设备，神经网络模型在训练时，基于大语言模型和模板生成文本描述数据集，通过学习文本之间的潜在距离和关系来隐式优化区间边界，区分正常文本描述提示区间和异常提示文本区间，筛选出更加精确的文本描述数据集，从而缓解语义歧义问题。此外，本申请还引入注意力机制，在不改变预训练模型原有的架构的基础上，获取到图像视觉特征的局部特征，并使用多层适配器对视觉语言模型进行微调，以适应医学图像异常检测的需要。通过计算得到的视觉特征和文本特征得到基于全局的异常分数和局部的异常图实现异常检测与分割。