Scrapy_Redis_Weibo 源码

微博爬虫启用方式 在当前目录输入pip install -r requirements.txt 在当前目录输入scrapy crawl weibocn 即可在redis / mongodb可视化界面看到相关数据信息 以下为任选scrapyd部署: 在cmd / terminal输入**(scrapyd>〜/ scrapyd.log&)**打开scrapyd服务 在当前目录输入scrapyd-deploy部署爬虫项目 输入curl -d project = weibo -d spider = weibocn快速启动 bloomfilter配置 安装 输入以下命令: pip install scrapy - redis - bloomfilter 使用 在settings.py里添加如下代码: # Persist SCHEDULER_PERSIST = True # Ensure use