面向智能家居边端部署的多媒体问答模型量化方法

本发明涉及一种面向智能家居边端部署的多媒体问答模型量化方法，属于智能家居技术领域。其包括以下步骤：步骤1.多媒体信息特征提取：通过视频编码提取输入视频的视觉特征，获取视觉表示，通过问题编码提取输入问题的文本特征，获取问题表示；步骤2.多媒体信息特征融合：构建BART‑base编解码器模型，然后将视觉表示和问题表示输入至BART‑base编解码器模型依次经过编码器和解码器，最后对解码器输出进行均值池化，得到全局表示；步骤3.问题解码：将全局表示送入答案解码器，得分最高的答案作为结果进行返回。本发明提高了智能家居边缘部署的简易性和可行性，本发明提出的时间推理适配器利用预训练模型能够有效提高多媒体问答模型性能。