一种基于多颗粒度混合模态检索的金融风险识别方法

本发明适用于混合模态检索技术技术领域，提供了一种基于多颗粒度混合模态检索的金融风险识别方法，适用于混合模态检索领域；其通过构建多模态检索库，利用CLIP与RoBERTa模型分别编码图像、文本模态信息，并经可学习投影矩阵对齐特征，形成可检索的金融知识库；采用Dual‑Encoder与Cross‑Encoder结合的多粒度检索方案，粗粒度快速定位Top10候选答案，细粒度精准筛选高关联性候选集；最终通过多输入加权集成策略，整合大模型多轮预测结果并基于关联度加权求和，生成最终风险预测结果；本发明突破单一数据源局限，实现跨模态信息综合利用，确保信息质量与检索效率，显著降低模型不确定性，形成兼具鲁棒性与准确性的风险识别体系，为金融机构提供科学决策支持。