一种基于多模态大模型的视觉问答方法、设备及介质

本说明书实施例公开了一种基于多模态大模型的视觉问答方法、设备及介质，涉及数据处理技术领域，方法包括：获取用户输入的原始问答图像数据和原始问答文本数据，对原始问答图像数据进行转换，以确定对应的高分辨率视觉特征数据；通过高分辨率视觉特征数据，对预先获取的原始问答图像数据对应的原始视觉特征进行特征增强，以确定增强视觉令牌特征；提取原始问答文本数据的问答文本特征，基于增强视觉令牌特征和问答文本特征进行特征融合确定综合特征向量，通过多模态大模型和综合特征向量生成答案。通过对原始图像数据的针对性处理和特征增强，在保证获取关键细节的前提下维持相对较低的计算复杂度，满足实际应用中的资源限制，拓宽模型应用场景。