基于组合优化和多模态大模型的可缀合敦煌残片筛选方法

本发明公开了一种基于组合优化和多模态大模型的可缀合敦煌残片筛选方法，具体过程为：使用基于卷积神经网络的变体ResNet18的孪生神经网络，提取敦煌残片的特征向量，预测残片对的匹配程度分数，将匹配程度分数大于阈值的敦煌残片对构成无向图，使用融合了最优传输层的图神经网络进行可拼合小残片集合的筛选，并将可缀合的敦煌残片候选拼接集合和预定义的提示词输入多模态大语言模型来判断错误残片，在无向图中剔除错误残片对应的顶点和边，重新筛选得到可拼合的新的候选拼接集合。本发明能够应用在敦煌小残片缀合场景，以及古代语言学和社会研究领域，为古代语言学和社会研究领域研究提高效率。