一种提升大语言模型本地化适应性的跨模态知识优化系统

本发明涉及自然语言处理领域。本发明公开了一种提升大语言模型本地化适应性的跨模态知识优化系统，其包括模态数据采集模块，收集文字、音频、视频的跨模态本地化数据；数据预处理模块连接前者，预处理采集数据；跨模态知识融合模块连接预处理模块，融合数据与大语言模型通用知识，借跨模态学习算法挖掘关联，形成本地化跨模态知识图谱；模型微调模块连接融合模块，利用图谱微调大语言模型；评估反馈模块连接微调模块，评估模型本地化性能。本发明通过多模态数据整合、动态预处理、深度知识融合、高效微调及智能反馈，系统性解决了大语言模型本地化过程中的各种问题，显著提升了模型在方言理解、文化问答、跨模态任务中的表现。