拉勾网爬虫(单线程和多线程)

拉勾网爬虫爬取方法注意事项关键示例单线程示例多线程示例爬到的部分数据 爬取方法 emmmm这里就是从主页开始,找到页码的规律 这个规律还是挺好找的,就是页码变了而已 下面是拉钩主页页面 这个审查元素幅值xpath标签啥的我就不多说了吧 注意事项 1.#拉勾网有反爬,cookies变化 参考网址https://www.cnblogs.com/kuba8/p/10808023.html解决cookies变化问题 2.出现数据存在空格,换行符,需要利用strip或者replace函数去清洗数据 下面两种方法都可以有效进行清洗 #1. set = list(set(lists)) set.sort(