1. 首页
  2. 编程语言
  3. 其他
  4. Url消重算法(BloomFilter)

Url消重算法(BloomFilter)

上传者: 2019-09-15 10:03:16上传 RAR文件 500kb 热度 30次
本程序主要是BloomFilter算法的简化实现因为C#非安全代码无法直接分配内存块,使用了int型数组代替,暂时为了简单没有使用位运算,比位运算消耗内存多16倍。算法原理:其首先申请一块大内存,并把内存中的所有位设置为0。对每一个URL,用10个不同的hash函数计算其hash值,并把这些hash与内存bit数大小取模,把取模后的10个数在内存对应的位置设为1。在设置前会判断该位是否被设置。如果10个hash值对应的bit位全被设置,则认为该URL已存在。该算法在webarchive中实现。据其统计,平均为每个URL分配两个字节,可以达到零冲突。本程序算法:
用户评论
码姐姐匿名网友 2019-09-15 10:03:16

当实例参看的价值............

码姐姐匿名网友 2019-09-15 10:03:16

不知道是我的软件有问题还是什么问题,就是打不开