Transformer product categorization:트랜스포머자연어처리반리카테고리분류 源码

基于变压器的产品分类模型 给定文本中的产品名称,请使用基于变压器的分类模型对其类别进行分类。 内容 数据集 数据集包含超过120万种产品名称及其标签。 类别标签的数量是3,827。 结构 模型结构的概述将在下面说明。 分词器 在此模型中,使用了BPE(字节对编码)令牌化方法。 谷歌提供了非官方指定包 。 BPE根据文本的频率将文本拆分为子词标记。 它列出了指定数字(vocab_size)的词汇表,在这个项目中,我为vocab_size使用了40,000。 [例子] 有关BPE和WPM(单词模型)的更多详细说明,请查看以下帖子(韩语): : 模组 在此仓库中,有四个主要部分用于构建分类模型。 1)预处理器2)Spm训练器3)深度学习模型结构(使用keras的变压器)4)预测 1.预处理器 textPreprocessor.py 该模块用于对文本数据进行预处理,以使其成为纯文本