一种四模态对齐数据合成加工的方法、系统和设备

本发明公开了一种四模态对齐数据合成加工的方法、系统和设备，方法包括：通过分别设计精细提示词和简略提示词，实现文本模态数据对图像、视频和音频数据的对齐；再从视频中提取文本、音频和图像数据，将文本与视频对齐、图像与视频对齐以及音频与视频对齐，从而实现以视频为核心的四模态对齐；以视频为核心的四模态对齐后，计算两个单模态之间的余弦相似度，根据所述余弦相似度评估数据对齐效果。本发明在多模态数据对齐的精度、多样性、一致性评估和自动化处理等方面有显著改进，具备广泛的应用前景和技术优势。