编程小白的第一个爬虫公式(给渴望入门爬虫的你)(一)

文章目录一、一般小型爬虫(单个文件)1.查看网页类型,(动态还是静态)使用requests发送请求,建议使用会话静态用bs,动态用json2.是否需要登录,cookies,或传递参数,headers,或者使用代理3.解析网页,查找元素,bs,json,或正则表达式,pyquery,lxml推荐bs,json,正则4.效率控制:单进程/多协程/多线程5.数据存储txt,excel,二进制文件,csv或者数据库二、难以破译的爬虫使用selenium1.模拟打开浏览器2.获取网页源码3.进行模拟点击4.网页解析存储数据 我从年后开始接触爬虫,学了一系列杂七杂八的课程,目前还在看崔老师的《Python