bpemb:基于字节对编码(BPE)的275种语言的预训练子词嵌入 源码

BPEmb BPEmb是基于字节对编码(BPE)并在Wikipedia上进行过训练的275种语言的预训练子词嵌入的集合。 它的预期用途是作为自然语言处理中神经模型的输入。 ··· · · 用法 用pip安装BPEmb: pip install bpemb 嵌入和SentencePiece模型将在您首次使用时自动下载。 >> > from bpemb import BPEmb # load English BPEmb model with default vocabulary size (10k) and 50-dimensional embeddings >> > bpemb_en