一种融合多头交叉注意力机制与Q-former的多模态大模型扩展方法

本发明公开了一种融合多头交叉注意力机制与Q‑former的多模态大模型扩展方法，属于工智能和机器学习领域。本发明包括：对文本数据与对应的多模态数据编码，并将编码后的多模态特征向量与文本特征向量对齐，形成文本‑多模态数据对；将对齐后的文本‑多模态数据对进行多头交叉注意力计算；对每种多模态数据进行Q‑former查询机制计算，得到与文本数据没有强相关性但保留了多模态数据的大量信息的结果；将交叉注意力计算的结果和Q‑former计算的结果融合；根据所选择的文本大模型的输入不同，设置输入变换层进行变换后再输入文本大模型。本发明通过增强模型的自适应能力，使其能够根据不同的任务和输入动态调整连接器的行为，从而实现更高效的多模态信息处理。