基于图结构和多模态大模型的解耦表征学习方法和设备

本发明涉及一种基于图结构和多模态大模型的解耦表征学习方法和设备，方法包括如下步骤：获取原始图像信息并进行关键点检测；利用预设的语义编码器，将关键点检测结果映射至预设的隐空间中，得到细粒度表征解耦后的属性因子，其中，所述隐空间中每个隐码维度独立表示一个属性或表征；针对属性因子进行初始化，基于关键点检测结果和初始化后的属性因子，通过与预设的大语言模型交互得到属性因子间的关联关系；基于属性因子和属性因子间的关联关系进行结构化编码，利用预设的更新器对预先建立的图结构进行更新，基于解码器生成的图像和所述原始图像信息进行自监督优化，实现解耦表征学习。本发明实现了复杂数据和真实场景中的语义感知和表征解耦。