1. 首页
  2. 数据库
  3. 其它
  4. 异步:使用asyncio和aiohttp开发的轻量级初始化协程web爬虫框架 源码

异步:使用asyncio和aiohttp开发的轻量级初始化协程web爬虫框架 源码

上传者: 2021-04-22 12:26:31上传 ZIP文件 20.49KB 热度 18次
异步的 使用asyncio和aiohttp的串联Web搜寻器框架 Asyncpy是我基于asyncio和aiohttp开发的一个轻便高效的爬虫框架,采用了scrapy的设计模式,参考了github上一些开源框架的处理逻辑。 使用文档: : 应用案例: : github的: : pypi: ://pypi.org/project/asyncpy/ asyncpy的架构及流程 安装需要的环境 python版本需要> = 3.6依赖包:['lxml','parsel','docopt','aiohttp'] 安装命令: pip install asyncpy 如果安装报错: ERROR: Could not find a version that satisfies the requirement asyncpy (from versions: none) ERROR:
用户评论