1. 首页
  2. 行业
  3. 互联网
  4. 10亿级word2vec构造分布式计算的输入数据.py

10亿级word2vec构造分布式计算的输入数据.py

上传者: 2020-08-17 05:16:37上传 PY文件 4.3KB 热度 8次
过程:大txt文件拆分成小的txt文件(切词后再存)->小txt文件一个一个读取,构造词典->词典按词频大小降序并把value值置为1,2,3...->读取小txt文件取对应的字典值后保存为数值型的文件
下载地址
用户评论