多模态混合的数据处理方法、装置、设备、介质和产品

本申请涉及一种多模态混合的数据处理方法、装置、设备、介质和产品。所述方法包括：接收包含多模态混合信息的目标问题；将所述目标问题输入到经过训练的多模态混合领域专家大模型中进行处理，得到所述目标问题对应的答案；所述经过训练的多模态混合领域专家大模型包括：输入层、视觉嵌入编码器、文本嵌入编码器、视觉‑语言连接器、自注意力层、混合专家层、输出层。从而能够通过对多模态混合信息的统一分析处理，更加深入地理解包含图像、文本等多模态数据的用户问题，提高问答响应准确度，以便于向用户反馈更加细致的答案；也使得模型能够应用于多领域范围的专业知识问答，满足用户在不同领域的咨询需求，交互体验更佳。