arxiv_ETL 源码

arxiv_ETL-CI / CD管道 此回购尝试通过刮擦与AI主要相关的已提交论文的主题来观察AI的趋势。 用于抓取的库是beautifulsoup。 资料来源: : 提取后,将使用Matplotlib和seaborn对数据进行可视化,并将可视化存储为.png文件。 最终将使用SQlite3将数据存储在.csv和.db文件中。 此仓库在github文件夹中包含一个yaml文件,以CI / CD管道形式运行此项目。 该工作流计划每天运行一次。 该脚本也可以作为批处理文件运行。 看看“ Run_python_file.bat”。 代码仍未评论。 如有任何问题,请联系我。 喜欢尝试