一种基于全局-局部时空语义对齐的多模态情绪识别系统

本发明公开了一种基于全局‑局部时空语义对齐的多模态情绪识别系统，将多模态生理信号分为多个单一模态生理信号之后，将所有单一模态生理信号划分为多个批次，获取每个批次中的单一模态生理信号片段的特征序列的最大序列长度，以每个批次中的最大序列长度为参考值，将每个批次中的单一模态生理信号片段的序列长度补齐至最大序列长度，以使得每个批次中的单一模态生理信号片段的特征序列的长度相同，解决了生理信号数据长度不一致与关键信息损失问题；本发明提出了局部时间语义对齐模块对各模态进行时间维度上的对齐，增强了模型的可解释性与鲁棒性；本发明在空间维度上对齐了各模态语义信息，从而优化了情绪识别过程。