请求处理方法、装置、可读介质、电子设备及程序产品

AITNT
正文
推荐专利
请求处理方法、装置、可读介质、电子设备及程序产品
申请号:CN202411440905
申请日期:2024-10-15
公开号:CN119378684A
公开日期:2025-01-28
类型:发明专利
摘要
本公开涉及一种请求处理方法、装置、可读介质、电子设备及程序产品,所述方法包括:在接收到针对多模态机器学习模型的推理请求后,将所述推理请求存入请求队列,其中,所述推理请求携带有用户输入的待推理数据,所述待推理数据包括图像数据和/或音频数据;当满足预设的并行处理条件时,并行对所述请求队列中所述推理请求携带的图像数据和/或音频数据进行特征处理,得到目标特征数据,所述目标特征数据被用于所述多模态机器学习模型进行模型推理。从而可以通过批处理的方式并发处理推理请求携带的数据,缩短了数据的特征处理时间,有效提高数据处理效率,进而提升多模态机器学习模型的服务吞吐量。
技术关键词
多模态机器学习 数据 队列 音频 图像 并行特征 存储装置 电子设备 计算机程序产品 介质 标识 模块 处理器
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号