基于多模态数据的文本处理反馈系统及方法

本发明涉及多模态数据技术领域，且公开了基于多模态数据的文本处理反馈系统及方法，包括将用户输入的文本数据通过一个包含嵌入层的上下文编码器处理，得到多个文本的语义特征向量；将多个语义特征向量排列为一维特征向量；将用户提供的图像数据通过一个卷积神经网络处理，提取出图像中的关键特征向量；计算图像理解特征向量的转置与文本理解特征向量之间的乘积，得到一个多模态需求表达矩阵；基于多模态需求表达矩阵中各个位置的特征值，通过特征校正机制对矩阵中的每个特征值进行调整；将校正后的多模态需求表达矩阵输入到一个多标签分类器中进行处理。本发明具备提升文本生成综合能力的优点。