怎么下载带有动态加载内容的网页

如何下载带有动态加载内容的网页
在程序中需要下载网页的内容，通常使用如下方法即可完成要求

System.Net.WebClient aWebClient = new System.Net.WebClient();
aWebClient.Encoding = System.Text.Encoding.Default;
html = aWebClient.DownloadString(url);

现在的问题是，对于有些使用AJAX技术动态加载内容的网页，则无法下载到完全的内容。
不知道这种问题一般的解决思路是什么，还望大家不吝赐教。
[解决办法]
由js动态生成的内容需要winform的webbrowser来解析后才能获取到，蜘蛛程序无法获取到动态生成的内容

参考:Ajax WebSpider网络爬虫

查看更多 下一篇