一种基于大模型与检索对比的小语种图片描述生成方法

本发明涉及一种基于大语言模型与检索对比的小语种图片描述生成方法，属于图片和自然语言处理技术领域。首先构建大语种到小语种平行语料数据集，以及大语种和小语种图片描述对数据集。然后进行多语理解大语言模型训练。之后进行图像文本对齐，向量数据库检索生成提示。最后根据训练好的模型和生成的提示词生成描述。本方法直接使用大语言模型生成，无需经过翻译步骤，从而提高了生成效率。图片描述生成直接针对小语种展开，通过引入检索对比技术，进一步提升了生成质量和准确率。本方法使得小语种图片描述生成更为可行，为相关领域的研究和应用提供了有力的技术支持。