基于旋转位置编码技术的多模态特征拼接方法和多模态数据处理方法

本公开提供了一种基于旋转位置编码技术的多模态特征拼接方法和多模态数据处理方法，涉及旋转位置编码、多模态特征拼接、大语言模型训练等人工智能技术领域。该方法包括：从不同数据获取渠道获取不同模态的待编码数据；利用预设的旋转位置编码技术将各模态的待编码数据在时间维度上的特征在低频频段进行特征建模，得到编码后低频特征；利用旋转位置编码技术将各模态的待编码数据在空间维度上的特征在中高频段以相互交叉的方式进行特征建模，得到编码后中高频特征；将编码后低频特征和编码后中高频特征拼接为多模态组合特征。该方案用长周期分量建模时间，在增强长序列依赖捕捉能力的同时还能缓解远程衰减问题，以及使长宽维度共享相同频率范围，能够避免将长维度和宽维度分别集中在不同频率段进行建模所导致的空间非对称性问题出现、保障了对称性。