一种基于上消化道时序信息的部位识别方法

一种基于上消化道时序信息的多模态MLKNet识别方法，通过图像‑文本对齐方式为胃镜部位图像生成时序特征向量，利用多尺度分级融合策略将时序信息融合到单帧图像中，特征融合网络采用三向扫描Mamba和大卷积核模块，使时序信息扩展到全图像并增大感受野。数据集经预处理、添加时序描述后划分为训练集和验证集，预训练语义编码器，构建图像编码网络，进行图像‑文本特征对齐，计算包含多种损失的输出损失并反向传播更新参数。本发明增强了相似特征图像区分度，提高了对形变特征分类的鲁棒性。