基于大语言模型的多模态感知问题生成方法、系统及介质

本发明公开了一种基于大语言模型的多模态感知问题生成方法、系统及介质，属于计算机语义分析技术领域，方法包括提取图像特征，并在图像特征中提取与输入文本最相关的特征；将输入内容中的文本背景转化为词嵌入，并与图像特征中提取到的与输入文本最相关的特征进行交互，获得与文本内容最相关的图像表示以及与图像内容最相关的文本表示；将与文本内容最相关的图像表示以及与图像内容最相关的文本表示进行语义对齐，得到视觉和文本信息的多模态语义综合表征，并转换成大语言模型所能理解的输入表征；基于大语言模型所能理解的输入表征引导大语言模型生成问题。本发明能够更加充分的利用大语言模型使其理解更为复杂的多模态输入并生成有效的问题。