一种面向多模态大模型实时视频处理的加速方法

本发明公开一种面向多模态大模型实时视频处理的加速方法，其特征在于，包括：利用GPU的硬件编解码模块对输入的视频流进行实时解码，并通过GPU并行计算实现多路视频流的并发解码；将解码后的视频数据通过GPU核进行2D图像处理，利用自定义优化的PTX底层指令对图像进行颜色空间转换，将YUV格式转换为BGR格式，优化过程中通过整数运算替代浮点运算；通过自定义PTX指令集对GPU的执行单元进行优化，包括线程调度、内存访问模式、指令执行顺序的优化，确保数据处理过程中的并行计算加速；在GPU内部优化内存访问模式和数据传输方式，减少内存瓶颈和延迟，设计多模态视频处理流水线的显存使用与数据传输策略，避免主机端与设备端之间的无效数据传输。