基于大语言模型的可控示意图生成方法、系统及存储介质

本发明公开了一种基于大语言模型的可控示意图生成方法、系统及存储介质，方法包括构建基于大语言模型的示意图生成任务数据集；根据示意图的图像特点预先建立示意图的布局规划规则，通过示意图的布局规划规则将基于大语言模型的示意图生成任务数据集转换为设定布局的示意图；对示意图的布局规划规则进行序列化处理，转换成文本表达形式，并定位文本表达形式的布局规划规则在图像中的应用区域；对应布局规划规则在图像中的应用区域，结合多模态嵌入表征和微调的扩散模型，优化序列化处理过程和图像生成过程，生成符合需求的示意图。本发明能够有效应对示意图生成过程中的高层语义复杂性及底层视觉多样性的挑战，提升示意图理解技术的整体质量。