双结构网络中URL去重机制研究 上传者：male16751 2020-09-03 22:46:36上传 PDF文件 1.12MB 热度 23次 针对双结构网络的特点及其URL去重面临的挑战,根据Bloom Filter的工作原理,提出一种基于可扩展的动态可分裂Bloom Filter的URL去重机制,并在原型系统中进行实现和部署。实验结果表明,该机制能够有效适用于大规模、高性能和分布式的双结构网络爬虫应用。 下载地址 用户评论 更多下载 下载地址 立即下载 用户评论 发表评论
