中国大学软科排名网站数据爬取及可视化分析
基于中国大学软科排名网站的数据爬取及可视化分析。
本文将介绍如何使用selenium和PhantomJS模拟登录软科学网,并保存网页快照paiming.png文件。然后,我们将爬取排名前100的大学信息,包括中文名、省市、类型、排名、总分,并将其存储到MongoDB数据库中。
接下来,我们将使用可视化技术对存储的数据进行分析。首先,我们将使用柱状图或曲线图或地图等方式来展示主榜上榜高校各省市分布的数据量。其次,我们将使用柱状图来展示各省市平均分。最后,我们将使用词云展示上榜高校最多的省市名称。
值得注意的是,本文不仅适用于爬取排名前100的大学信息,而且也适用于爬取更多的数据,只需输入要爬取的页数即可。
下载地址
用户评论