一种基于多种模态信息的中文拼写纠错方法

本发明提供一种基于多种模态信息的中文拼写纠错方法，使用文本的语义信息、汉字的发音信息和字形信息，在发音信息中融入了拼音字母在键盘上的坐标信息，使得模型能够感知拼音字母在键盘上的位置信息，以提升模型对于拼音输入的错误文本的纠错性能；在字形信息中融入的每个汉字的图像，提升模型对于手写输入的错误文本的纠错性能。最后，通过特征融合的模块，将多种模态的信息选择性地进行融合，使模型能够处理不同输入方式产生的错误。