摘要
本申请涉及一种基于虚拟数字人的教学交互方法、装置、设备及介质。所述方法通过将学生视频流按面部、手势及背景区域进行语义分割与差异化编码,结合眼动追踪生成的注意力权重动态调整各区域码率分配,并基于瞳孔坐标映射驱动虚拟数字人的头部转向与3D视差渲染,同时根据网络状态自适应切片分发,实现教学场景下多学生注意力精准感知、虚拟形象动作与真实意图同步响应以及网络资源按需优化的技术效果,显著提升沉浸式交互的真实性与系统资源利用率。
技术关键词
手势区域
坐标映射误差
编码视频流
教学交互方法
面部
学生
码率
运动特征
掩膜
无损编码模式
动画
切片
运动补偿编码
系统资源利用率
分区
视频传输模块
沉浸式交互
语义分割模型
系统为您推荐了相关专利信息
管控系统
工作票管理模块
数据集成平台
设备状态监测系统
三维可视化系统
交互控制方法
沉浸式交互
动态时间规整算法
面部动作单元
逻辑
表情特征
样本
面部图像数据
长短期记忆网络
运动特征