摘要
本公开涉及一种请求处理方法、装置、可读介质、电子设备及程序产品,所述方法包括:在接收到针对多模态机器学习模型的推理请求后,将所述推理请求存入请求队列,其中,所述推理请求携带有用户输入的待推理数据,所述待推理数据包括图像数据和/或音频数据;当满足预设的并行处理条件时,并行对所述请求队列中所述推理请求携带的图像数据和/或音频数据进行特征处理,得到目标特征数据,所述目标特征数据被用于所述多模态机器学习模型进行模型推理。从而可以通过批处理的方式并发处理推理请求携带的数据,缩短了数据的特征处理时间,有效提高数据处理效率,进而提升多模态机器学习模型的服务吞吐量。
技术关键词
多模态机器学习
数据
队列
音频
图像
并行特征
存储装置
电子设备
计算机程序产品
介质
标识
模块
处理器