零基础写python爬虫之爬虫编写全记录

先来说一下我们学校的网站: http://jwxt.sdu.edu.cn:7777/zhxt_bks/zhxt_bks.html 查询成绩需要登录,然后显示各学科成绩,但是只显示成绩而没有绩点,也就是加权平均分。 显然这样手动计算绩点是一件非常麻烦的事情。所以我们可以用python做一个爬虫来解决这个问题。 1.决战前夜 先来准备一下工具:HttpFox插件。 这是一款http协议分析插件,分析页面请求和响应的时间、内容、以及浏览器用到的COOKIE等。 以我为例,安装在火狐上即可,效果如图: 可以非常直观的查看相应的信息。 点击start是开始检测,点击stop暂停检测,点击clear清