爬虫篇——User Agent爬取备用及存储

爬虫篇——User-Agent爬取备用及存储代码 代码 本文通过抓取常见的User-Agent(用户代理),将其写入列表并保存为json格式文件,且将代码进行了封装,方便以后抓取数据时动态的更新请求头中的User-Agent,模拟真实的浏览器发送请求,从一方面避免抓取数据时反爬的干扰。 # *********************** User-Agent 爬取 ******************************** import requests from bs4 import BeautifulSoup import re import json import urllib.r