利用Redis进行数据去重

前言 之前有篇文章提到了实现增量爬虫可以利用redis数据库进行url去重,今天博主就给大家分享一下python如何利用redis进行去重吧。在试验中,我们用到Redis数据库和hash算法,我们先了解一下Redis和hashlib。 Redis简介 Redis 是完全开源免费的,遵守BSD协议,是一个高性能的key-value数据库。 Redis 优势 读写速度极快,Redis能读的速度是110000次/s,写的速度是81000次/s 。 支持多种数据结构:string(字符串);list(列表);hash(哈希),set(集合);zset(有序集合)。 Redis可以将内存中的数据利用快照