Transformers ru:俄语预训练变压器模型列表 源码

变形金刚 俄语预训练的Transformer模型列表(包括多语言模型)。 使用和可视化模型的代码来自以下仓库: 楷模 有模型形式: 型号说明 #参数 设定档 词汇 模型 BPE代码 基于BERT的多语言案例:104种语言,12层,隐藏768、12头,110M参数 170M 基于BERT的多语言无大小写:102种语言,12层,隐藏768、12头,110M参数 1.6亿 RuBERT,俄语,带套管,12层,768隐藏,12头,180M参数 170M SlavicBERT,Slavic(bg,cs,pl,ru),带盒,12层,隐藏768、12头,180M参数 170M XLM(ML