基于数据增强的多模态实体连接方法

本发明公开了一种基于数据增强的多模态实体连接方法，涉及数据处理技术领域，包括：利用大语言模型对实体增强，通过设计指令对实体描述进行摘要处理，提取关键信息并优化；利用多模态大语言模型对语义信息增强，通过融合文本和视觉特征生成增强的信息描述，包括实体的名称、类型、功能及行为特征、物理或结构属性，以及从视觉信息中提取的空间结构、外观形态、颜色纹理等视觉特征；通过检索技术来扩展和优化候选实体集合，实现检索增强；使用大语言模型进行决策性选择，从检索增强得到的候选实体集合中选择最佳匹配项。本发明通过多层次的数据增强和精确的实体选择过程，显著提高了多模态实体链接的准确性和效率。