基于模态融合和自进化微调的信息驱动目标分割方法

本发明公开了一种基于模态融合和自进化微调的信息驱动目标分割方法，首先，引入了一个不需要预训练的模态融合适配器，集成到预训练模型的原始架构中，促进视觉语言编码器之间的交互。模态融合适配器有两个定制模块：（1）空间先验模块，用于捕获中间层特征图的局部语义（空间先验）；（2）多模态注意力模块，促进视觉语言模态之间的信息交互。其次，设计了一个轻量级的任务特定解码器用于信息驱动的目标分割，以进一步对齐视觉和语言特征。本发明可以无缝集成到任何预训练的器视觉‑语言模型中增强并与它们的中间特征交互，并能够在只更新1.61%到3.38%的参数的情况下，实现与现有完全微调方法相当的性能。