一种基于动态门控与双流注意力的儿童语言描述视觉定位方法及系统

本发明提供了一种基于动态门控与双流注意力的儿童语言描述视觉定位方法及系统。方法包括：将接收到的儿童语言信号转化成文本数据，并提取文本特征；对待识别图像进行切分，获得子图像块；基于子图像块，获得第一视觉特征；基于文本特征和第一视觉特征，获得多模态嵌入；基于多模态嵌入，并结合第一视觉特征，获得第二视觉特征；将文本特征与第二视觉特征映射到相同的特征空间，获取跨模态tokens序列；基于跨模态tokens序列，获取待识别图像中儿童语言描述的目标对象位置。本发明滤除了低置信度文本特征，使模型能够根据语义相关度自适应调整多模态特征的贡献度，精准聚焦于目标对象的显著性特征区域，显著提升了目标定位的准确率。