基于多模态数据汇聚乡村社会化服务平台

本发明提出了一种基于多模态数据汇聚乡村社会化服务平台，涉及数据汇聚领域，系统通过构建数据采集层、数据处理层、数据汇聚层三层架构，整合物联网与互联网的多源异构数据，形成覆盖农业生产全要素的多模态知识库。本发明设计了多模态融合模型MIXNet，该模型结合了CLIP模型的文本/图像编码器与Sensor Fusion多传感器融合，提取出图像、文本、传感器三种模态的特征，运用多种注意力机制完成多模态融合。此外，系统采用网络爬虫动态扩展农业知识库，结合知识图谱构建与Leiden社区检测算法实现知识的智能聚合与检索。系统有效提升了乡村产业要素配置效率。