基于多模态流媒体融合技术系统内容传输方法

本发明涉及内容传输方法技术领域，具体为基于多模态流媒体融合技术系统内容传输方法，包括如下步骤：S1、多源数据采集与时空对齐，采用IEEE 1588PTP协议，在摄像头、麦克风、IMU设备部署硬件时钟同步模块，将时间戳精度提升至μs级，对传感器数据进行采样率归一化；S2、特征级跨模态融合，利用轻量化Transformer模型提取各模态特征，在边缘服务器执行跨模态注意力计算，生成融合特征张量Ffusion∈RN×D。该基于多模态流媒体融合技术系统内容传输方法解决了传统多模态传输系统通常采用分离式传输架构，视频流通过RTMP协议传输，音频流使用Opus编码，通过WebRTC传输，传感器数据以JSON格式通过MQTT协议发送，ABR仅调整视频码率，未协调多模态数据的联合优化的问题。