一种基于动态语义增强的层次化文本多粒度食谱检索方法

本发明公开了一种基于动态语义增强的层次化文本多粒度食谱检索方法，属于食品计算中的食品跨模态检索技术领域。本发明在提取食谱文本全局特征的同时保留标题、配料、指令三个组件特征，之后对这三个组件特征进行动态语义增强操作，提取出实体词、属性词、关系词这三个核心语义单元。利用提取到的食谱文本全局特征与食物图像做三元组损失实现食谱的粗粒度检索，再分别利用实体词、属性词、关系词这三个核心语义单元与食物图像做三元组损失实现食谱的细粒度检索，最后采用三重对齐策略，最终实现层次化文本多粒度食谱检索。通过上述动态语义增强，提取三个核心语义单元构建细粒度的匹配方法，显著提升了复杂烹饪场景下的检索精度。