一个简单的网络蜘蛛框架由Python编写

PSpider一个简单的网络蜘蛛框架由Python编写需要Python3.8PSpider的特点1.支持多线程爬行模式使用线程2.支持使用代理进行爬行使用线程和队列3.定义一些实用函数和类例如UrlFilter get string num等4.更少的代码行更容易阅读理解和扩展PSpider模块1.实用程序模块为多线程爬行器定义一些实用程序函数和类2.实例模块为多线程蜘蛛定义Fetcher Parser Saver类3.concurrent模块定义多线程蜘蛛的WebSpiderFrame PSpider的过程procedure.png①fetcher从QueueFetch中获取TaskFetch并基于此任务进行请求② 将①的结果TaskParse放到QueueParse中这样Parser就可以从中获取任务③ 解析器从QueueParse中获取任务解析内容得到新的taskfetch和TaskSave④ 把新的TaskFetchs放到QueueFetch这样Fetc