摘要
本发明涉及一种基于迭代优化的无训练通用高效语义分割方法,对预训练的扩散模型进行改进,在提取和选择交叉注意力图和自注意力图之后,获得同样尺度的交叉注意力图Aca和自注意力图Asa,将自注意力图Asa送入熵减自注意力模块中,用于去除不相关的全局信息,方法为:计算自注意力图的熵梯度,通过将自注意力图分布视为离散随机变量的概率质量函数计算自注意力熵,进而计算熵梯度;更新自注意力:通过沿着负梯度方向更新所选择的自注意力图计算熵降低后的自注意力图Aceant;将熵降低后的自注意力图Aseant和交叉注意力图Aca进行矩阵乘法,迭代优化交叉注意力图,将得到的最终交叉注意力Aca尺寸恢复到原图像大小。
技术关键词
注意力
语义分割方法
矩阵
计算方法
元素
图像
尺寸
模块
标签
因子
参数