摘要
本申请公开了一种对话信息的处理方法、系统、电子设备和存储介质,涉及大模型技术、自然语言处理技术领域。其中,该方法包括:获取对话输入信息;将对话输入信息转换为文本张量和音频张量,其中,信息处理模型为利用多模态信息样本训练得到;将文本张量和音频张量输入至信息处理模型,利用信息处理模型对文本张量和音频张量进行分析,并行生成文本单元集和音频单元集,其中,音频单元集对应的音频内容与文本单元集对应的文本内容相匹配;将文本单元集,转换为与对话输入信息相匹配的文本输出信息,且将音频单元集,转换为与对话输入信息相匹配的音频输出信息。本申请解决了对话信息的处理效率低的技术问题。
技术关键词
信息处理模型
音频单元
多模态信息
样本
语音输入信息
音频特征
文本处理模型
音频适配器
可读存储介质
操作界面
音频编码器
音频解码器
文本编码器
电子设备
数据
计算机程序产品
系统为您推荐了相关专利信息
视频动作识别方法
全局特征融合
通道注意力机制
融合特征
网络