1. 首页
  2. 网络技术
  3. 其他
  4. bert tokenizer文本预处理

bert tokenizer文本预处理

上传者: 2023-01-03 17:44:40上传 PY文件 2.7KB 热度 11次
在pytoch中实现利用预训练BertTokenizer对影评数据集IMDB进行预处理得到Bert模型所需输入样本特征.利用torch.utils.data将预处理结果打包为数据集并利用pickle将数据集序列化保存至本地文件中.
下载地址
用户评论