分离式多模态大语言模型服务系统及首词元生成方法

本申请涉及人工智能技术领域，公开了一种分离式多模态大语言模型服务系统及首词元生成方法。该系统包括：预处理器、编码器实例、实例交互层及预填充实例；预处理器被配置为解析问答请求，得到多个模态的原始数据；编码器实例用于对各个模态的原始数据进行并行编码，生成对应模态的子序列；所述实例交互层，被配置为将所述编码器实例生成的各个模态的子序列，发送到所述预填充实例；所述预填充实例包括大语言模型主干，被配置为以子序列为粒度对各个模态的各个子序列进行异步预填充，以生成所述问答请求对应的回答文本的首词元。采用本系统能够提升在线问答服务系统的响应速度，改善用户体验。