基于多模态融合与大语言模型的数字结构化访谈处理方法

本发明提供了一种基于多模态融合与大语言模型的数字结构化访谈处理方法，属于数据处理技术领域。在预设的提问范式下，获取被访谈对象的多模态数据；对多模态数据中的每种模态数据分别进行特征提取，将提取到的特征转换为低秩特征矩阵，进而得到融合特征矩阵；对被访谈对象的回答音频进行文本转化并对转化后的文本进行预处理；将得到的融合特征矩阵与预处理后的文本描述进行空间嵌入，并生成提示词；根据提示词以及经访谈语料微调的大语言模型，生成新的提问范式，根据新的提问范式向被访谈对象提问并生成新的提示词，循环往复，直至访谈结束；本发明提高了访谈真实性。