网络爬虫系统报告.doc

开发一个比较完善的基于JavaWeb的网络爬虫系统，简单来说，就是一个可以从指定网站爬取数据的系统，通过启动客户端，可以实现以下功能： 1、爬取数据:本次爬取数据的来源BOSS直聘，在职位输入框里面输入你想要查询的岗位，然后点击开始爬取即可；那么爬取下来的数据放在SqlServer数据库里面； 2、查询数据:点击查询数据按钮,可以查询出来之前爬取的所有数据； 3、搜索功能:根据上面的输入框,查询对应的数据根据公司名称查询根据职位查询根据薪资查询根据经验查询根据学历查询根据地址查询4、添加公司:我们在黑名单公司输入公司名,然后点击添加公司，那么这个公司就会添加到黑名单里面，爬取数据不会包含黑名单的公司；开发工具：SqlServe 、Intellij IDEA