一种基于多语言预训练模型CINO的藏文分词方法及系统

本发明涉及数据处理技术领域，具体公开一种基于多语言预训练模型CINO的藏文分词方法及系统，该方法采集待标注数据集，为后续研究提供海量文本资源；接着进行分词转换得到待训练数据集，让文本转化为适合模型处理的词元序列，便于模型学习结构，再分析待训练数据集属性参数，据此判定是否数据划分，合理划分能保证训练集与验证集代表性，避免数据分布偏差，提升模型泛化能力，随后通过划分得到训练和验证数据集，用于训练多语言预训练模型CINO，并采集分析训练过程参数，能洞察模型训练状态，及时调整策略和超参数，完成模型初始化，从而推动藏文分词准确性和可靠性提升，助力多语言处理技术在藏文领域的应用。