一种基于多模态特征优化的多轮语音回复生成方法及系统

本发明属于智能交流优化方法技术领域，且公开了一种基于多模态特征优化的多轮语音回复生成方法，包括以下流程：流程一：结合大模型的文本特征和语音提取的时序图包含的时频特征进行分类，实现多轮对话的情绪精准识别。本文通过将语音转换为时频图，结合图像领域成熟的分类架构，提出基于时空注意力的时频分类方法，优化多轮会话中的情绪感知能力，为具有明显分类特征的情感特征赋予较重的权重，并基于不同情绪的权重，动态调节ai agent的多轮会话能力，改善了机遇语音提示词分类情绪的方法，结合大模型提供的语义信息优化了生成语音数据的质量，也改进了聊天机器人应用于智慧网格员，导购等场景的逻辑。