首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 网络技术 > 网络基础 >

网络爬虫采集动态内容的有关问题

2013-06-25 
网络爬虫采集动态内容的问题我们开发了一个网络爬虫,目前要求能购实现对动态内容的采集。所谓动态内容,就是

网络爬虫采集动态内容的问题
我们开发了一个网络爬虫,目前要求能购实现对动态内容的采集。所谓动态内容,就是使用ajax或javascrip在页面加载时动态舌生成的内容,以及使用postback进行翻页的翻页后的内容。要求尽量自动、简单、高效。

希望大侠们不吝赐教。
[解决办法]
基于浏览器吧,不管是IE还是firefox还是google chrome,只有浏览器才能最完美的解决你的问题
[解决办法]
说简单点,在爬虫中集成javascript引擎就可以了。
[解决办法]
进一步说,flash怎么解析?html5怎么解析?java applet哩?
[解决办法]
这个问题不能深究,还是以实现功能为主,不然问题就提升到“暗网数据如何处理”的问题了,这可是科学难题。
楼主这个要求如果放在整个互联网的范围内很难解决,但是如果只要处理特定范围的网站可以针对这些网站做些模板之类的功能。

[解决办法]
听牛人解答

热点排行