gse:进行高效的文本分割和NLP; 支持英语中文日语等。 语言高级分词 源码

se 进行有效的文本分割; 支持英语,中文,日语等。 用双数组特里(Double-Array Trie)实现, 算法是基于词频加动态编程的最短路径,以及DAG和HMM算法的词分割。 支持通用,搜索引擎,完整模式,精确模式和HMM模式的多种分词模式,支持用户词典,POS标记,运行。 支持HMM剪切文本使用Viterbi算法。 文本分割速度9.2MB / s, 26.8MB / s。 HMM文本分割单线程3.2MB / s。 (2core 4threads Macbook Pro)。 捆绑: ,绑定JavaScript等,支持更多语言。 安装更新 go get -u github.co