分布式视频信息爬虫videoSpider.zip

分布式视频信息爬虫，从豆瓣，bilibili等收集电视剧、电影、动漫、演员等信息,使用：requests 发送请求，BeatufulSoup解析html，SQLAlchemy 作为ORM，Alembic数据库版本控制。 使用：协程（gevent）＋多进程，分布式（Celery） model：流程：  标签：videoSpider