python_spider:万维网 源码

python_spider 小项目简介:这是由本人边提需求边完成的练习手爬虫的小项目,能够实现微博个人主页所有微博内容的爬取。功能:获取微博用户每一条微博的信息(包括转发,点赞的微博),其中原创微博抓取文字,配图,视频,发博时间,转发的微博则抓取转发的时间,转发的评价,财经杂志的链接,点赞的微博暂时实现(第一版)应用知识:1.动态页面渲染和Ajax ----- selenium:模拟鼠标动作,填充表单,页面切换2.破解反爬技术----使用Selenium模拟登录3 urllib -----使用urllib实现视频和图片的下载4 xapth ----使用xapth选择页面元素代码: :