一种应用于音频数据的多模态实体关系抽取方法

本发明公开了一种应用于音频数据的多模态实体关系抽取方法，包括：构建音频实体关系数据集；通过音频实体关系数据集进行大模型训练，获得优化后的大模型，包括：对音频实体关系数据集进行Whisper模型转换处理，获得对应的文本数据，结合连接模块对文本数据进行优化，获得优化后的文本数据，基于优化后的文本数据，利用GPT‑3模型进行实体关系抽取以及文本预测，分别生成实体关系三元组以及文本预测的概率分布；将待处理的音频数据输入优化后的大模型，获得对应的实体关系抽取结果。该方法实现了对音频数据的高效、准确实体关系抽取，提升了从非结构化数据中获取有价值信息的能力，为智能交互等领域的智能化升级提供了有力支持。