一种用于古诗词与图像互相转换的多模态古诗词知识图谱构建方法

本发明公开了一种用于古诗词与图像互相转换的多模态古诗词知识图谱构建方法，包括以下步骤：本发明利用到了搜韵中的古诗词信息、汉典中的注释信息、古诗文中的翻译信息，将文本解释作为知识图谱的文本实体，在相互关联的实体之间建立语义联系，得到古诗词知识图谱，使用多模态模型进行对古诗词文本生成图像，得到多模态古诗词知识图谱。在文本到图像转化任务中，相对于传统的古诗词知识图谱只保留了古诗词的解释，忽略了古诗词与解释之间的一对多关系，我们可以更好地从候选古诗词中找到对应关系，从而生成对应关系更准确、质量更好的图像。