模拟浏览器抓取网页内容(审查元素中内容)
利用HtmlAgilityPack可以轻松获取网页内容,但是无法获取动态加载的内容,通过webBrowser模拟浏览器,获取网页内容。大致思路:1、webBrowser加载网页(如有Ajax动态加载分页的网站,需要配合页面动作,直到页面加载完成,如:滚动条操作)2、加载完成后获取webBrowser.Document(配合使用webBrowser_DocumentCompleted和Application.DoEvents())3、解析网页内容
下载地址
用户评论
有错误居然还要往网上放
下载下来,运行还报错.没什么用。分数还要那么高
只是简单的获取页面~
明明可以直接使用HtmlAgilityPack组件就可以解决问题了,问什么还要再走一下弯路?
不错,思路很好,学习了