ScrapyDouban:豆瓣电影豆瓣读书Scarpy爬虫 源码

ScrapyDouban 基于Python3的豆瓣电影/豆瓣读书Scarpy爬虫,实现封面下载+元数据抓取+评论入库。 维护这个项目的目的是分享一些我在使用Scrapy过程中的实践,该项目大概涵盖了80%我所使用到的Scrapy知识,希望能帮助到正在学习Scrapy的朋友,也希望大家在阅读后食用,但是请注意当前项目所使用的版本为Scrapy 2.1。 码头工人 项目包含了douban_scrapy douban_db douban_adminer三个容器。 douban_scrapy容器基于alpine:3.11,默认安装的Python3库有scrapy pymysql pillow arr