一种基于多模态用户意图识别对齐的文物讲解方法

本发明涉及自然语言处理技术领域，应用于自然语言处理NLP与人工智能，基于多模态用户意图识别对齐的文物讲解方法。该方法首先通过多模态对齐模块接收用户提供的各种输入，如语音、文字、图片、地理位置等，并输出两个值：最终的对话和对象主体。然后，当对象主体存在时，通过提示工程将内容和主体名词进行组合优化为提示对话，将其作为意图识别模型的输入。接着，使用意图识别模型对提示对话进行意图识别，并根据识别结果进行意图划分。同时，收集大量文物相关的数据，对数据进行清洗、预处理和标注分类，利用标注好的数据对进行模型训练，调整参数以达到最佳意图分类和命名主体识别效果。结合意图识别和命名主体识别的内容为用户提供服务。