一种视觉和文本对齐的方法及系统

本发明公开了一种视觉与文本对齐的方法及系统，属于人工智能和多模态语义理解技术领域。本发明为解决现有多模态问答中视觉与语言深度融合不足的问题，主要采用将视觉特征通过感知机网络映射至语言模型的自注意力输入空间，并在语言模型的各层解码器中引入融合注意力机制，实现视觉与文本的逐层交互处理。本发明能够实现视觉信息与文本语义的深度对齐与融合，提升多模态问答系统的理解与生成能力。