首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 网站开发 > 高性能WEB开发 >

用开源爬虫arale 实现具有登陆页面的抓取,该怎么解决

2012-06-08 
用开源爬虫arale 实现具有登陆页面的抓取首先请教一下用过开源工具arale的高手,我想修改它的源代码,实现能

用开源爬虫arale 实现具有登陆页面的抓取
首先请教一下用过开源工具arale的高手,我想修改它的源代码,实现能对具有登陆页
面的网页进行抓取,改怎么改,请给出思路!如果有其它办法,也可以给我具体思路,包括
使用其它的爬虫

[解决办法]
如果该网站验证信息放在COOKIE里,你可以在http中加入cookie内容,这样就能获取需要验证的数据
如果是通过session,先向验证页面提交用户名和密码,再去抓出其它数据

热点排行