一种领域图像的多模态数据生成与微调方法

本发明提供了一种领域图像的多模态数据生成与微调方法，属于人工智能技术领域，包括：使用视觉多模态模型对领域图像进行初步处理，得到一般性描述，对设定标签进行自然语言转换得到转换文本，并基于大语言模型对图像描述与转换文本进行语义整合和扩展，生成初始描述；对领域图像按照描述维度进行多层提取得到每层的层描述，并结合初始描述生成综合描述；将领域图像与对应的综合描述进行配对，得到多模态数据；使用多模态数据对视觉多模态模型进行微调处理，得到优化后多模态模型。提升其在领域图像中的识别和问答能力。