多模态数据的处理方法、装置、设备和存储介质

本申请实施例提供了一种多模态数据的处理方法、装置、设备和存储介质，获取多模态数据和多模态数据对应的处理指令；确定多模态数据对应的数据标签；根据多模态数据对应的数据标签，确定多模态数据对应的数据模态；数据模态包括视频模态、图像模态和文本模态；将多模态数据对应的数据模态从视频模态和图像模态统一为文本模态，得到多模态数据对应的文本特征；根据多模态数据对应的文本特征和处理指令，得到多模态数据对应的处理结果。通过将视频模态和图像模态统一转换为文本模态，实现了不同模态数据的统一表示，减少了模态之间的异构性带来的复杂性，可以减少模型处理高分辨率图像和长视频时的计算量，从而提高了计算效率。