一种多模态数据分类方法、系统、计算机设备和存储介质

本发明提供一种多模态数据分类方法、系统、计算机设备和存储介质，通过边缘设备接收多模态数据，并对多模态数据进行预处理；通过线性变换或投影层对齐至相同的纬度；通过注意力机制或Transformer架构融合生成综合信息表示向量；将多模态大模型量化，部署于边缘设备中；将综合信息表示向量发送至多模态大模型推理，并通过多层Transformer架构处理综合信息表示向量；根据任务需求生成分类结果。本发明通过在边缘设备上本地化部署，提升系统的实时性、准确性和资源利用效率，能在本地处理敏感数据，保障数据隐私与安全，实现跨模态特征提取和对齐，提升在复杂场景的识别能力。减少对大规模标注数据的依赖性，提高了适应性。