1. 首页
  2. 操作系统
  3. Linux
  4. GB和TB级别的大文件去重排序

GB和TB级别的大文件去重排序

上传者: 2020-07-16 14:52:56上传 SH文件 230B 热度 16次
该案例主要是针对大文件的去重排序项目,目前支持GB乃至TB级别的数据量,项目思路是针对大文件进行分治的项目,大文件分化成多个小文件,然后再进行排序和去重,目前是在linux系统上进行运行
用户评论