基于语义感知掩码和矢量量化码本的语义通信方法

本发明公开了一种基于语义感知掩码和矢量量化码本的语义通信方法，属于无线通信技术领域。具体来说，本发明提出了一种语义感知压缩策略，根据CLIP模型的图像编码器最后一个自注意力层的注意力向量所代表的语义重要性大小对输入图像进行语义感知掩码，可以选择性地掩蔽语义重要性较低的图像块，而不是随机掩蔽，从而增强模型学习语义信息的能力，提高训练效率。此外，设计了一种改进的在发送端和接收端共享的鲁棒矢量量化码本。该码本在传输中利用正交和可训练的基向量索引来代表编码特征，从而增强了系统的鲁棒性，减少传输数据量。本发明所提出的方法能显著提高语义信息的处理效率，且在具有挑战性的低信噪比情况下表现出更好的性能。