AO3FanworkStatistics:从AO3收集数据以创建有关所用标签风扇长度等的数据图形 源码

AO3粉丝统计 创建该文件是因为我最初想在上进行一些有关Dragon Age标签的。到现在,它已发展成Haikyuu统计数据。 我创建了一个脚本来遍历标签,并将标签中每个风扇工作的数据保存到Postgresql数据库中。 早在2018年,这也是我第一次与d3合作使用收集的数据创建数据图形。在2021年,我重做了可视化的部分内容。 结果可以在看到。 局限性:这些统计信息仅统计每个人都能看到的同人作品。必须登录的工作将被忽略。 我做了什么/项目的结构 刮刀 我用来抓取AO3的脚本位于/scripts/FandomStatisticsScraper.py 。为了使其正常运行,需要并且需要将凭据输入到/database.ini (存储库中已经有一个示例文件)。 现在,尤其是对于大型AO3标签,此刮板将花费HOURS,因为它在页面之间停留7秒。每次等待时间都比此时间短,可能会触发429 - Too