基于多模态大模型与光学字符识别的盲用点图自动转换方法和装置

基于多模态大模型与光学字符识别的盲用点图自动转换方法和装置，其方法：收集场景的图文混排图像并标注文本、图形信息，构建图文混排专用数据集；用模型对预处理后的图像提取特征并检测文本区域，输出多边形坐标框，实现图像中文本位置的精准定位；依据文本框坐标裁剪对应区域，利用CNN提取文本图像特征，经RNN建模字符上下文关系，再由CTC解码器解码，完成图像文本的识别与提取；接收识别文本，先清洗、分词预处理，再通过Transformer模型建模语义，由解码器逐步生成盲文字符序列，实现文本到盲文的翻译转换；整合原始图像、掩码及盲文等信息设计专用prompt，输入大模型，通过LoRA技术冻结并微调模型参数，将原图内容转换为符合规范的盲用点图。