C#实现通过程序自动抓取远程Web网页信息的代码

通过程序自动的读取其它网站网页显示的信息,类似于爬虫程序。比方说我们有一个系统,要提取BaiDu网站上歌曲搜索排名。分析系统在根据得到的数据进行数据分析。为业务提供参考数据。 为了完成以上的需求,我们就需要模拟浏览器浏览网页,得到页面的数据在进行分析,最后把分析的结构,即整理好的数据写入数据库。那么我们的思路就是: 1、发送HttpRequest请求。 2、接收HttpResponse返回的结果。得到特定页面的html源文件。 3、取出包含数据的那一部分源码。 4、根据html源码生成HtmlDocument,循环取出数据。 5、写入数据库。 程序如下: