评估者抓取工具:一个项目用于评估评估者的网站并使数据可用于高级查询 源码

评估者刮板 该项目的目标是将来自奥尔良教区评估办公室的数据转换为更适合数据分析的格式。 开发环境设置 先决条件 您必须安装Python 3。 您可以下载。 首先设置一个python python3 -m venv .venv . .venv/bin/activate 用安装依赖项 pip install -r requirements.txt 入门 设置数据库 默认情况下,刮板设置为将数据加载到PostgreSQL数据库中。 有关设置和更改数据库的文档在。 您可以使用快速使数据库在本地运行。 docker-compose up -d db 如果要探索如何使用scrapy提取数据,请使用与响应