keras text:Keras中的文本分类库 源码

Keras文本分类库 keras-text是一站式的文本分类库,可通过干净且可扩展的界面实现各种最新模型,以实现自定义架构。 快速开始 创建一个标记器以建立您的词汇表 要将您的数据集表示为(docs, words)使用WordTokenizer 要将您的数据集表示为(docs, sentences, words)使用SentenceWordTokenizer 要创建任意层次结构,请扩展Tokenizer并实现token_generator方法。 from keras_text . processing import WordTokenizer tokenizer = WordToken