一种基于频率调谐的非自然图像理解方法及系统

本发明公开了一种基于频率调谐的非自然图像理解方法及系统，本发明的方法包括三个关键步骤：首先获取非自然图像构成非自然图像数据集并进行预处理，再将预处理后的非自然图像数据集划分为对齐数据集和指令微调数据集两部分；接着在对齐数据集和指令微调数据集上通过三个阶段训练多模态大语言模型；最后将待进行图像理解的非自然图像输入到训练好的多模态大语言模型，得到对非自然图像的理解结果。实验结果表明，本发明在分类、检索、描述生成和问答等任务上均优于现有技术，显著提升了非自然图像理解的准确性和效率。