一种基于双轨迁移框架的轻量化多模态内容识别系统

本发明公开了一种基于双轨迁移框架的轻量化多模态内容识别系统，涉及内容识别技术领域，包括数据采集模块，用于同步采集文本与图像的多源内容并进行标准化处理与张量构建，形成融合张量X；模型构建模块，用于将融合张量输入基于Transformer主干网络构建的双轨迁移结构中，所述双轨迁移结构通过Prompt Learning嵌入与Adapter‑Tuning插入实现参数冻结下的任务语义对齐与结构迁移，输出模态对齐的中间表示。本发明显著降低了多模态内容识别的训练与部署成本，增强了模态内部的语义表达能力，有效提升了跨模态对齐精度和融合深度，增强了模型对复杂语义关系的感知与识别能力。