摘要
本申请提出一种任务执行和模型训练方法、装置、设备和介质,涉及人工智能领域,其中,方法包括:获取输入数据以及输入数据关联的语言处理任务;调用多模态模型对输入数据执行语言处理任务,以得到任务执行结果;其中,多模态模型是采用多领域和多语言的文本音频对进行对比预训练得到;展示任务执行结果。通过调用经过对比预训练的多模态模型进行任务处理,能够更准确地理解文本和音频之间的语义关系,从而提供更高质量的任务执行结果。其中,采用多模态、多领域和多语言的文本音频对对多模态模型进行对比预训练,使得模型能够学习到通用的跨模态表示,提升了模型在不同领域和语言上的适应性,增强了其在多样化的应用场景中的适用性。
技术关键词
投影特征
文本
多模态
音频编码
音频特征
多语言
样本
大语言模型
语义
数据
非临时性计算机可读存储介质
模型训练方法
训练集
编码特征
语音特征
编码模块
资源