Python分布式爬虫打造搜索引擎

由浅入深掌握Scrapy 爬虫开发环境搭建及基础知识 - 于windows和Linux Scrapy爬虫搭建 及单机爬虫实战案例 整个开发过程中还会讲到很多爬虫开发的知识， 这些知识不管是对Web系统的理解还是面试都是非常重要的知识点，包括正则表达式、url去重的策略、深度优先和广度优先遍历算法及实现、session和cookie的区别以及如何通过多种方式去实现模拟登录 爬取技术社区文章 掌握：xpath， css选择器 / items设计 / pipeline，twisted保存数据到mysql 爬取问答网站 掌握：session和cookie原理 / scrapy FormRequest和