爬虫进阶知识学习

#爬虫进阶知识点(方便温习做点笔记) ua添加 cookie获取 lxml之etree利用 URL自动获取 一种图片保存方式 ua上什么? ua即是User-agent的缩写,个人理解为使得服务器通过ua把你识别为一个浏览器而不是爬虫; ua获取 打开chrome浏览器,右键检查,点击network,在下方寻找到一个url点击一下,即可出现一些信息,其中一条为User-agent 也可以在网上搜索ua大全,随便抄一条 本人上网上随便抄的: “”“ ‘User-Agent’ : ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/53