基于低代码的多模态大模型构建方法

本发明涉及一种基于低代码的多模态大模型构建方法，属于人工智能领域。其包括以下步骤：S1：获取多模态数据，所述多模态数据包括结构化数据和非结构化数据；S2：构建结构化数据处理模块，所述结构化数据经过结构化数据处理模块，得到对齐的结构化数据；S3：构建非结构化数据处理模块，所述非结构化数据经过非结构化数据处理模块，得到对齐的非结构化数据；S4：将所述对齐的结构化数据和对齐的非结构化数据应用到底座大模型中。本发明通过将PySpark表合并技术、AutoML和NL2SQL整合在结构化数据处理模块中，实现了结构化数据的对齐，将Swin Transformer和CLIP模型整合在非结构化数据处理模块中，实现了非结构化数据的对齐，提高了多模态大模型在多模态任务中的性能。