go语言实现百度云爬虫

安装使用安装go与设置gopathclone项目到gopath目录安装依赖gogetgithub.com/go-sql-driver/mysqlgogetgithub.com/siddontang/go/loggogetgithub.com/garyburd/redigo/redisgogetgithub.com/Unknwon/goconfig修改config.ini配置文件中你自己的MySQL和Redis配置(可以不配Redis),Redis不配或者错误会默认将已经爬取的uk保存到hasIndexKeys.txt文件中,这样做防止重复爬同一位用户多次创建database名为baidu,然后执行baidu.sqlgor