VEM-Token声乐情绪多模态token化歌声和伴奏深度学习方法

VEM‑Token声乐情绪多模态token化歌声和伴奏深度学习方法，是区别于现有的人工智能将信息分割成文字化的token词元后，再进行识别的方法。本发明将声乐文件进行频谱化，检测节拍，按照声乐节拍将频谱化的声乐文件分割成VEM‑Token序列，按照歌词、歌声、伴奏、歌者情绪、伴奏情绪、视频、图像等多模态，建立VEM坐标系、VEM函数和VEM库，进行VEM‑Token识别，分离出歌声流和伴奏流，依据声乐专家，对声乐样本进行多模态的情绪评分，采用监督学习和深度学习算法获得VEM参数，学习获得声乐样本的多模态情绪。对于与其它声乐作品，能够识别声乐多模态情绪、输出歌词谱、VEM‑Token歌声谱、VEM‑Token伴奏谱和VEM‑Token乐谱。接入包括常用大模型等AI系统，开发成能听歌会识谱的声乐智能体Agent。