基于多模态大模型的文本生成方法、装置、设备及介质

本申请涉及人工智能技术领域，具体提供一种基于多模态大模型的文本生成方法、装置、设备及介质，旨在解决将大尺寸图像输入至视觉语言模型，得到的回答准确率低的问题。本申请包括：将图像进行采样，得到多个子图；将图像进行切分，得到多个切图；将多个子图输入至第i子图特征提取模型，得到子图特征；将多个切图输入至第i切图特征提取模型，得到切图特征；根据子图特征和切图特征，得到第一损失值；将子图特征和问题编码进行组合，得到组合特征；将组合特征输入至第i大语言模型，得到第二损失值；根据第一损失值和第二损失值，对第i大语言模型、第i子图特征提取模型和第i切图特征提取模型进行更新处理，在确定达到预设条件后，得到预设模型。