一种跨模态信息处理的推理加速装置和方法

本发明涉及一种跨模态信息处理的推理加速装置和方法，通过设置转换装置以将用户的多模态指令进行视觉编码和投影以转化为多模态指令的编码格式，中央处理器则基于这个编码格式执行多模态大语言模型算法以获得多模态指令的答案编码，所获答案编码则被所设置的合成装置转换后输出。在此基础上，通过设置加速装置以根据多模态大语言模型算法中每个运算层输入令牌的隐式表达类别从多模态大语言模型算法的所有运算层中解耦出任务识别层、稀疏融合层和语义对齐层，然后按预定比减少任务识别层的跨模态信息交互运算、输入稀疏融合层的冗余视觉令牌和输入语义对齐层的视觉令牌，缩小推理延迟时间，缓解模型占用速率。