一种基于多模态信息的任务执行方法及系统

本发明涉及一种基于多模态信息的任务执行方法及系统，属于人工智能技术领域，解决了现有对多模态信息挖掘不充分且处理复杂而导致任务执行结果不准确的问题。包括采集并预处理历史多模态信息，构建多模态样本集；构建模态协同变换器，模态协同变换器是在Transformer模型中构建多个模态嵌入层提取出多模态嵌入向量传给编码器，并增加模态感知层获取多模态信息的动态权重向量对编码器中的多头自注意力层的输出进行调整；利用多模态样本集，通过多任务自监督学习方式对模态协同变换器进行训练；利用训练好的模态协同变换器对实际任务中输入的多模态信息进行融合，输出任务执行结果。实现了多模态信息的深度融合和执行结果准确率的提升。