视觉信息融合方法、装置、设备、介质及计算机程序产品

本发明提供一种视觉信息融合方法、装置、设备、介质及计算机程序产品，所述方法包括：对输入图像和输入文本进行编码，得到目标标记序列；所述目标标记序列包括视觉标记序列和语言标记序列；基于所述语言标记序列对所述视觉标记序列的注意力，确定融合视觉上下文；基于所述融合视觉上下文，确定每个所述目标标记序列的调制参数；基于所述调整参数，确定所述输入文本的语义理解结果。本发明通过在大语言模型的各层引入动态特征调制机制，使视觉信息能够自适应地调整文本表征，从而增强大语言模型对多模态信息的理解能力。