一种基于KAN增强的非自回归手语生成方法、介质以及设备

一种基于KAN增强的非自回归手语生成方法、介质以及设备，属于计算机视觉技术技术领域。本发明为解决现有基于自回归架构生成手语视频的方法，在生成手语长序列时局部误差会随序列长度的增加而持续传播，导致生成的手语视频动作细节不充分、动作的时序连贯性差的问题。本发明使用非自回归机制的Transformer模型，使用时空自注意力机制代替多头注意力机制，采用KAN网络替换MLP层，使用动态双曲正切函数替换传统编码器和解码器的层归一化，并行生成手语骨骼序列，然后对生成的手语骨骼序列进行运动学优化和逐帧渲染得到细节展示充分、动作连贯的手语视频。主要用于将文本数据生成手语视频。