基于时空协同的音乐表演姿态实时驱动方法及其系统

本发明涉及虚拟现实技术领域，具体涉及基于时空协同的音乐表演姿态实时驱动方法及其系统，通过多角度视频流采集表演者动作，并结合音频信号，利用轻量化卷积神经网络提取关键关节坐标；创新性地采用多尺度时间窗口分析历史帧数据，提取短程、中程和长程时序特征；引入关键关节重要性计算机制，对演奏相关关键关节赋予更高权重；通过时空深度协同交互机制实现时空信息的双向增强；基于系统实时延迟信息动态调整预测参数，主动预测未来姿态以补偿系统延迟；结合音乐节奏信息对预测姿态进行表现力增强；通过物理约束和逆运动学处理生成自然、逼真的虚拟角色驱动数据,本发明显著降低了系统延迟感知，提升了音画同步性和表演表现力。