多模态数据处理方法、家电设备及其控制方法、系统

本申请公开了多模态数据处理方法、家电设备及其控制方法、系统。该方法包括：获取多模态数据；其中，多模态数据至少包括文本数据、图像数据和语音数据中至少一种，以及传感器数据；传感器数据由家电设备对应的传感器采集得到；利用至少两种融合方式，对多模态数据进行数据融合，得到具有统一语义空间的多模态融合数据。通过上述方式，能够实现家电领域多模态数据的有效融合，打破数据孤岛，进一步，在统一的语义空间中实现不同模态数据的精确对齐，能够在将多模态融合数据输入至大语言模型后，有效提升大语言模型的理解能力。